新火種
2023-11-20 
中國科學院自動化所研發(fā)出新型類腦學習方法?有望引導新型類腦芯片設計
編輯 |綠蘿
災難性遺忘是反向傳播學習算法固有的問題，是人工神經網絡（ANN）和尖峰神經網絡（SNN）研究中的一個難題。
大腦利用多尺度可塑性在某種程度上解決了這個問題。在特定通路的全局調控下，神經調節(jié)劑被分散到目標腦區(qū)，突觸和神經元的可塑性都受到神經調節(jié)劑的局部調節(jié)。具體來說，神經調節(jié)劑改變神經元和突觸可塑性的能力和性質。這種修飾被稱為突觸再可塑性（metaplasticity）。
近日，中國科學院自動化研究所徐波教授及其合作者研發(fā)出一種基于神經調制依賴可塑性的新型類腦學習方法（Neuromodulation-assisted Credit Assignment,NACA），可有效解決目前人工神經網絡中普遍存在的「災難性遺忘」問題，有望進一步引導新型類腦芯片的設計。
該研究以「A brain-inspired algorithm that mitigates catastrophic forgetting of artificial and spiking neural networks with low computational cost」為題，于 8 月 25 日發(fā)表在《Science Advances》上。
該方法基于大腦復雜神經調節(jié)通路的結構，以期望矩陣編碼的形式建立神經調節(jié)通路的數學模型。接收到刺激信號后，產生不同強度的多巴胺監(jiān)督信號，進一步影響局部突觸和神經元的可塑性。
NACA 支持使用純前饋流學習方法來訓練 ANN 和 SNN。通過全局多巴胺擴散支持，與輸入信號同步，甚至在輸入信號前向傳播信息。與選擇性調整峰值時間相關的可塑性相結合，NACA 在快速收斂和減輕災難性遺忘方面表現出顯著的優(yōu)勢。
在兩個典型的圖像和語音模式識別任務中，研究小組評估了 NACA 算法的準確率和計算成本。在使用圖像分類(MNIST)和語音識別(TIDigits)標準數據集的測試中，NACA 獲得了更高的分類準確率(約 1.92%)和更低的學習能耗(約 98%)。
此外，研究小組重點測試了 NACA 在類連續(xù)學習上的連續(xù)學習能力，并將神經調節(jié)擴展到神經元可塑性的范圍。
在連續(xù) MNIST 手寫體數字、連續(xù)字母表手寫體字母、連續(xù) MathGreek 手寫體數學符號、連續(xù) cifare -10 自然圖像和連續(xù) DvsGesture 動態(tài)手勢等 5 個不同類別的連續(xù)學習任務中，NACA 比反向傳播和彈性權鞏固算法能耗更低，能夠顯著緩解災難性遺忘問題。
徐教授說:「NACA 是一種生物學上合理的全局優(yōu)化算法，它利用宏觀可塑性進一步 [調節(jié)] 局部可塑性，可以看作是一種『可塑性的可塑性』方法，與『學會學習』和『元學習』具有直觀的功能一致性?！?/p>
文章第一作者、中國科學院自動化研究所副研究員張鐵林介紹，人工神經網絡由于采用反向傳播（BP）等人工學習方法，可能會導致人工智能系統(tǒng)在學習新任務或適應新環(huán)境時，喪失了以前習得的一些能力，這種現象被稱為「災難性遺忘」，會對人工智能系統(tǒng)穩(wěn)定運行產生不利影響。為此，人工智能迫切需要借鑒生物系統(tǒng)中的微觀、介觀、宏觀等多尺度神經可塑性融合計算機制。
據介紹，生物系統(tǒng)中常見的多巴胺、血清素等神經調質物，往往經由特定的腺體釋放，并遠程彌散、投射到一定范圍內的目標神經元群體，且根據調質濃度水平的不同，對局部的神經元可塑性、突觸可塑性等產生多種復雜的調制影響。
此項研究中，科研團隊在上述生物神經調制機制的啟發(fā)下，整合得到 NACA?？蒲袌F隊隨后在典型的圖片和語音模式識別任務中對該新型類腦學習方法進行了評估，評估結果顯示，其與傳統(tǒng)算法相比，具有更低的能耗，且可以極大地緩解「災難性遺忘」問題。
「該新型類腦學習方法是一類生物合理的全局優(yōu)化算法，具備純前饋學習、低訓練能耗、支持動態(tài)連續(xù)學習等特征，有望進一步引導新型類腦芯片的設計?！刮恼峦ㄓ嵶髡?、中國科學院自動化研究所研究員徐波說。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
