新火種
2024-12-12 
機械系統(tǒng)也能自主學習！密歇根大學團隊構(gòu)建了全新數(shù)學框架，登上NatureCommunications
受人腦復雜運作的啟發(fā)，神經(jīng)網(wǎng)絡(luò)已經(jīng)徹底改變了各個領(lǐng)域的生產(chǎn)研究現(xiàn)狀。然而，考慮到基于計算機的神經(jīng)網(wǎng)絡(luò)需求的大量計算與極高能耗，特別是傳統(tǒng)數(shù)字處理器的能源效率，機械神經(jīng)網(wǎng)絡(luò)的發(fā)展逐步被提上日程。
在光學神經(jīng)網(wǎng)絡(luò)中，波-物質(zhì)相互作用被用來實現(xiàn)機器學習，類似的思路也可以被用來建立機械神經(jīng)網(wǎng)絡(luò)（MNN）的學習框架。
受神經(jīng)科學的啟發(fā)，來自密歇根大學的 UM 團隊設(shè)計了一種算法，為機械神經(jīng)網(wǎng)絡(luò)的工作方式的自主學習提供了一個數(shù)學框架。
這是一種 MNN 的訓練協(xié)議，基于原位反向傳播。源自伴隨變量方法，其理論上從局部信息中就能獲得精確的梯度。
除了用作計算設(shè)備之外，這些 MNN 作為可持續(xù)和自主的材料系統(tǒng)，還為材料科學和機械工程提供了前所未有的機會，因為它們可以接受訓練以學習某些行為以適應不同的環(huán)境和任務。
該研究以「Training all-mechanical neural networks for task learning through in situ backpropagation」為題，于2024年12月9日發(fā)布在《Nature Communications》
“我們看到材料可以自行學習任務并進行計算，”本研究的主要負責人Shuaifeng Li說，“這個未來還有很長的路要走，但 UM 新研究的見解也可以為該領(lǐng)域以外的研究人員提供更直接的靈感。”
UM 團隊的研究結(jié)果將訓練機械神經(jīng)網(wǎng)絡(luò)的理論與實驗和數(shù)值驗證相結(jié)合，為機械機器學習硬件和自主材料系統(tǒng)鋪平了道路。
原位反向傳播
在 MNNs 中進行原位反向傳播的理論基礎(chǔ)即獲得損失函數(shù)對于 MMN 彈簧常數(shù)的梯度。在 d 維的空間中嵌入 n 個節(jié)點并為他們分配位置，區(qū)分為輸入輸出節(jié)點 n 入與 n 出，由 m 個彈簧相連接，每一個彈簧都有各自的彈簧常數(shù) k 彈。此外，通過正確設(shè)計網(wǎng)絡(luò)鏈接來禁止零模式，以便對矩陣 C 完全排序。
在 MNN 中實現(xiàn)原位反向傳播并獲得損失函數(shù)的梯度 L 從 MNNs 的局部信息來看，有兩個步驟：對 MNNs 施加輸入力 F，得到節(jié)點的位移和鍵 e 的向前伸長，然后計算給定損失函數(shù)的形式，這里要使用到前一步中計算好的位移，但需要在數(shù)字計算機中計算成本。
在基于能量的學習方法中，微移狀態(tài)與由輕推強度控制的自由狀態(tài)略有距離，而新方法中的兩種平衡狀態(tài)是獨立的，其中輸入力在第二種狀態(tài)中不存在。
本質(zhì)上，這個訓練方法提供了兩個信號傳遞，一個向前發(fā)送輸入信號，一個向后傳送誤差信號。這種傳遞方法與物理學習所需的規(guī)則一致。除了 EP 和耦合學習之外，這個方法還可以作為在本地訓練 MNN 的替代選擇。
為了演示 MNN 中的反向原位傳播，使用 3D 打印技術(shù)制造了一份二維 MNN 。在進行實際模擬后表示，損失函數(shù)的梯度是向前伸長和伴隨伸長的元素乘積，c、d 分別為實驗結(jié)果與模擬結(jié)果。
可以觀察到，實驗測得的伸長率和模擬的伸長率以及梯度都具有極好的一致性。與代表精確梯度的模擬梯度相比，本次實驗梯度誤差小于 0.1，這個結(jié)果由三個獨立實驗與另一個損失函數(shù)的額外三個獨立實驗進行平均得到。
雖然從數(shù)值上可以獲得機器精度的梯度，但線性狀態(tài)下的假設(shè)需要無限小的變形，這表明他們在實驗中使用的方法始終是近似值。為了解決這一問題，他們進行誤差分析，將梯度誤差顯示為伴隨力的函數(shù)。在大伴隨力的低梯度誤差下，試驗方法可以更為準確與高效地產(chǎn)生梯度。
行為學習
據(jù) UM 團隊發(fā)布的論文所述，訓練 MNN 學習行為可以減少設(shè)計策略的工作量。他們表明，在沒有專業(yè)知識的情況下，通過原位反向傳播 MNN 可以學習它所需的行為。
圖示為 MNN 施加的力下的對稱輸出，頂部面板顯示機械網(wǎng)配置，底部顯示模擬與實驗的垂直位移。考慮到兩個青色節(jié)點表述的兩個類，可以交叉熵損失與歸一化一起使用。
交叉熵損失隨著預測概率 p的降低而減小接近實際標簽，導致概率最大化和兩個絕對垂直位移之間產(chǎn)生的差值。通過原位反向傳播，可以實現(xiàn)不對稱輸出，其中兩個節(jié)點在施加在紅色節(jié)點上的相同力下具有不同的垂直位移。
演示的實例表明，MNN 可以在施加的力下學習不同的行為，這里利用原位反向傳播提供了一種簡單的方法。它可用于創(chuàng)建具有所需功能的高級機械系統(tǒng)。
可重新訓練
與僅存在于數(shù)字領(lǐng)域的基于計算機的神經(jīng)網(wǎng)絡(luò)不同，MNN 是物理制造的，將機器學習模型嵌入到真實材料中。因此，MNN 的可再訓練性成為一個關(guān)鍵屬性。
與此，實驗人員可以通過模擬實驗來強盜兩個關(guān)鍵場景中的可再訓練性。其一，它們可以按需從一個任務無縫過渡到另一個；其二它們在遭受破壞后有回復機器學習模型的能力。
訓練受損的 MNN 后，分裂準確率從初次受損崩潰后降低到的50%回升到80%，這表明存儲在 MNN 中的分類模型得到了實質(zhì)性的恢復。
值得注意的是，損失的減少出現(xiàn)較為明顯的變化。這表明在這種配置下，訓練過程取決于訓練與測試數(shù)據(jù)集的劃分。
影響因素
目前，學習過程中并不涉及真實的 MNN，因為其還沒有在物理實現(xiàn)上更新。基于 UM 團隊演示的原位反向傳播，存在許多實驗途徑來實現(xiàn)彈簧常數(shù)的更新，因此整個學習過程可以通過更多不同的實驗方式來復現(xiàn)。
訓練團隊指出，從可調(diào)桿平臺以及磁活性等原理、相位變化與光可調(diào)性等方向，對于材料屬性可以借由外部場就地編程，有望促進原位反向傳播的進一步實驗。
除此之外還要考慮到仿真模型與真實材料系統(tǒng)之間的差距。需要通過局部修剪規(guī)則以允許原位修剪無序網(wǎng)絡(luò)的鍵來操縱材料響應，并適配比彈簧網(wǎng)絡(luò)更復雜的網(wǎng)絡(luò)。
結(jié)語
截止到目前為止，反向傳播一直是跨數(shù)字與光學處理器進行機器學習的最有效、使用最廣泛的神經(jīng)網(wǎng)絡(luò)訓練算法。這種技術(shù)被應用在機械系統(tǒng)中，揭示了 MNN 在降低機器學習成本方面的潛力。
“力是輸入信息，材料本身就像處理器，材料的變形是輸出或響應。” Li 說。
訓練后的 MNN 在設(shè)計有自學習能力的自主機器人與智能材料上具有光明的未來。研究人員表示，由于該算法顯然對信息的傳輸方式漠不關(guān)心，它還可能有助于為探索生命系統(tǒng)如何學習開辟新的途徑。
“我們看到反向傳播理論在許多物理系統(tǒng)中取得了成功，”Li 說。“我認為這也可能有助于生物學家了解人類和其他物種的生物神經(jīng)網(wǎng)絡(luò)是如何工作的。”
UM 團隊還在研究材料中更廣泛的網(wǎng)絡(luò)類別，包括聚合物和納米粒子組裝。有了這些，他們可以創(chuàng)建新的系統(tǒng)，在其中應用他們的算法并努力實現(xiàn)完全自主的學習機器。
論文鏈接：https://www.nature.com/articles/s41467-024-54849-z
相關(guān)推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務必進行充分的盡職調(diào)查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責任。
