首頁 > AI資訊 > 最新資訊 > 從模仿到理解,計算模型可能真的是大腦的歸宿

從模仿到理解,計算模型可能真的是大腦的歸宿

新火種    2023-12-21

圖片來源@視覺中國

文 | 追問nextquestion

在人類探索的歷史中,大腦仿佛是宇宙留給人類的最后一塊版圖。長期以來,神經科學家們一直致力于勾勒出這塊版圖上的線條,試圖解答大腦如何執行那些看似不可能的復雜任務。盡管我們取得了一些進展,但大腦的高度復雜性和驚人的效率仍然讓人望塵莫及。于是,受大腦結構及其信息處理方式的啟發,我們設計出了神經網絡,以幫助解決現實世界中的復雜問題。

但隨著技術尤其是深度學習的飛速發展,這種模仿與理解的關系正在經歷一場根本性的轉變。神經網絡,特別是深度學習模型,已不再局限于單純模仿大腦的工具,它們正成為理解大腦之謎的關鍵鑰匙。這些模型以其高度復雜和精細的處理能力,正在幫助我們揭開大腦是如何在多變和復雜的環境中學習和做出決策的秘密。這種從單向模仿到雙向理解的轉變,不僅在神經科學領域開辟了新的探索之路,更為我們提供了一個獨特的窗口,透過它,就能更深入地洞察那個蘊藏在我們頭顱中,重僅三磅,卻包含著無限可能的宇宙。

大腦與計算模型的基本結構

神經元,是大腦核心構成單元。它們通過相互連接并發射電信號的方式,共同參與對事物的解釋、推理和決策等復雜功能的執行,以幫助大腦處理不同信息,并靈活應對多變環境。神經元學習的關鍵在于突觸的可塑性。當神經元之間頻繁傳遞信號時,相關的突觸連接會強化,形成記憶和學習。這種神經可塑性使得大腦能夠根據經驗調整神經網絡的連接權重,從而適應不同的環境和任務。

1943年,McCulloch和Pitts就發現[1],神經元的脈沖及其開關狀態是一種邏輯門。他們認識到,大腦是一種由細胞組成的機器,類似于蜜蜂群體中涌現出復雜行為的現象。十年后,心理學家Frank Rosenblatt提出了感知器概念,這是一種單層簡易神經網絡,旨在通過監督學習模擬大腦的學習過程。感知器通過調整權重,使模型學會從輸入到輸出的映射關系。這類似于大腦中神經細胞之間的突觸連接調整過程。

?圖1:計算神經網絡示意圖。圖源:參考文獻2。

Rosenblatt的感知器有三種不同類型的“細胞”(單元)組成,分別代表“投射”,“關聯”和“響應”。它通過將權重與特征向量結合,使用線性預測函數進行預測,并從樣本數據中學習權重,以應用于新數據。然而,這種方式很快在非線性問題上遇到了局限。

為了克服這一局限,研究人員引入了“隱藏層”和“激活函數”等概念。這些神經元可用于解決早期構建感知器時遇到的一些基本問題,特別是在接受大量神經元的饋送和訓練數據時,它們解決了感知器在處理非線性問題上的局限性。由此,研究人員終于發現了一個能夠有效解決非線性問題的“公式”——以深度學習(DL)為核心的神經網絡。

雖然人工神經網絡和生物神經網絡在行為層面上具有相似之處,它們的學習方法卻大不相同。人工神經網絡使用梯度下降來最小化損失函數并達到全局最小值。其梯度下降需要反向傳播,而反向傳播只能在生物神經網絡中的一個神經元的范圍內進行。相比之下,生物神經網絡采用的是赫布學習原則,通過盡可能多的學習實例,提高一個神經元激活另一個神經元的效率,進而增強連接,使其更容易傳遞信號。這種基于時間順序的連接強化是生物神經網絡學習和形成記憶的基礎。反之,如果這種激活模式不再發生,連接可能會減弱,表現為我們所說的“遺忘”。

盡管方式不一,但行為的相似,也足以幫助我們借用人工神經網絡類比和理解生物神經網絡。

自監督學習模型與大腦活動相似

近期,麻省理工學院的K.Lisa Yang與計算神經科學中心的研究人員發布的兩項實驗,為人腦可能使用類似于人工神經網絡運作(自監督學習)的方式來理解世界的觀點,提供了新證據。他們發現,當他們使用特定的自監督學習模型時,模型能夠從未標記的數據中理解環境,表現出了強大的遷移學習能力和可重用性,從多種層面展現出了與哺乳動物大腦相似的活動模式。

更為引人注目的是,這些自監督模型能夠學習到物理世界的表征,從而準確預測物理世界將要發生的事情。他們認為,哺乳動物的大腦可能具有相同的學習策略。例如,哺乳動物的大腦也會通過觀察環境來學習和理解環境,而無需外部的指導或標簽。這種學習方式使得哺乳動物能夠適應各種各樣的環境,并在面對新的挑戰時,能夠利用過去的經驗來做出反應。

視覺模型

在視覺處理領域,早期的神經網絡模型主要依賴于監督學習,即在大量有標簽的圖像上進行訓練以學習分類。這種方法雖然在特定任務上表現良好,但它的一個主要局限在于對大量人工標記數據的依賴。因此,自監督模型逐漸成為更為有效的替代方案。

自監督模型,旨在從未標記的數據中學習有用的表示,擺脫了對外部注釋或標簽的依賴。其核心在于讓模型自行從輸入數據中生成目標,并優化生成目標與原始輸入之間的關系,從而實現對數據潛在表示的學習。這種學習方式的獨特優勢在于,它能夠有效地利用大量未標記的數據。由于不需要人工進行繁瑣的標注工作,這使得自監督學習成為在數據稀缺或標注成本高昂的情況下的理想選擇。

在麻省理工學院的一項新研究中[3],研究人員通過使用數十萬描述日常場景的視頻,訓練了一個自監督模型,該模型可以預測未來場景的狀態。與傳統難以適應不同任務的模型不同,他們發現通過對自然數據進行自監督學習,可以使模型成功推廣到其他任務。

?圖2:原始論文。圖源:參考文獻3

研究人員將訓練完成的自監督模型應用于一個名為“Mental-Pong”的任務中,這是一種類似于用球拍擊球的視頻游戲。在這個任務中,球在即將被擊中前會突然消失,玩家需要通過預測球的軌跡來成功擊中它。

研究人員發現,他們的自監督模型能夠準確地追蹤隱藏球的軌跡。在他們的研究中,該模型能夠成功模擬看不見的球的軌跡,表現出類似于人類進行“心理模擬”的認知現象。

在動物玩類似游戲時,其大腦的背內側額葉皮層常會顯示特定的神經激活模式。背內側額葉皮層不僅會對空間位置和變化作出響應,而且在規劃未來行動時表現出活躍性,包括對于如何達到目標、選擇適當策略等方面的規劃。自監督模型在執行任務時展現的神經激活模式,與動物在游戲中大腦的這一部分所表現的模式驚人地相似。研究人員表示,沒有其他類型的計算模型能夠像這個自監督模型那樣與生物數據如此接近。

這一發現深化了對自監督學習模型與大腦相似性的理解:大腦在執行各種任務時展現出特定區域的神經激活模式,而自監督模型似乎能夠在類似的任務中產生相似的模式。這不僅突顯了自監督學習模型的潛在優勢,同時為揭示大腦運作機制提供了更多線索。

空間導航

無獨有偶,由Khona、Schaeffer和Fiete領導的另一項研究[4],通過自監督學習模擬了網格細胞的行為,暗示著大腦可能采用類似的自監督機制來訓練神經元,以學習和理解其所處的世界。

?圖3:原始論文。圖源:參考文獻4

網格細胞,位于內嗅皮層,與海馬體中的位置細胞協同工作以幫助動物進行空間定位與導航。其獨特之處在于,它們在空間中的多個點激活,形成一種對稱且極其精確的六邊形網格,就像精細的內部GPS系統。每個網格細胞都有其獨特的坐標模式,但一個單獨的網格單元無法準確指示動物的具體位置,因為它在多個點都會激活。然而,當多個網格單元的圖案重疊時,就能非常精確地確定動物的位置。這些圖案在大腦中形成了一種內部坐標圖,有助于測量空間中不同點的距離。

在先前的研究[5]中,研究人員訓練了一種自監督模型,來模擬網格細胞的功能,即根據動物的起點和速度自主預測下一位置,完成這一“路徑整合”任務。然而,這類模型始終需要絕對空間的信息,而這這是動物所不具備的。

受這項研究的啟發,Khona等人訓練了一種對比自監督網絡,執行相同的路徑積分并以此表示空間。與之前的研究不同,該模型可以像網格細胞一樣,通過位置的相似與不同來相對的區分位置。

“這類似于圖像訓練模型。如果兩張圖像都是貓,它們的編碼應該相似,但如果一張是貓,一張是卡車,那么他們的編碼應該互斥。而我們采用同樣的想法,但將之用于空間軌跡。” Khona解釋道。

在網格細胞與計算模型的早期研究中,麻省理工學院的團隊也曾調整模型,使位置編碼單元更貼近生物的位置細胞。在這個過程中,雖然模型仍然能夠執行路徑整合任務,但卻不再產生類似網格細胞的活動。當研究人員要求模型生成不同類型的位置輸出,例如在網格上的X軸和Y軸位置,或相對于起始點的距離和角度的位置時,類似網格細胞的活動也消失了。

Fiete曾指出:“如果你要求這個網絡唯一要做的事情是路徑整合,并且對單元施加了一套非常具體而非生理的要求,那么就有可能獲得網格細胞。但如果你放松對讀出單元的這些要求,網絡產生網格細胞的能力就會大幅降低。”

最終,通過引入分離損失、路徑不變性損失和容量損失三種損失函數,他們優化神經網絡,使其能夠形成多種不同的網格圖案,與網格細胞的自然活動相似,并能在訓練分布之外良好地泛化。此外,他們還通過一系列數學屬性,如代數編碼、高容量表示、快速去相關性等,將網格細胞的編碼理論屬性表征出來。這都代表著大腦的復雜空間表征不是通過外部監督學習獲得的,而是通過一種內在的、自主的學習過程(自監督學習)形成的。

意義

除視覺、空間導航外,Edward Chang等人利用自監督模型研究了語音模型與人腦聽覺通路的相似性[6];而在認知功能和精神障礙的機制[7]上,相關模型也發揮著重要作用。它們都暗示著,大腦活動與自監督學習的相似性。

因此,神經網絡不僅是一種強大的預測工具,更是我們解讀和模擬生物神經網絡的關鍵窗口。我們可以通過訓練一個模擬生物神經網絡的計算神經網絡,并觀察其活動來解釋和類比生物神經網絡的運作方式。同時,生物神經網絡也能指導我們考慮更多已知的生物層面的限制,使我們的計算模型更加接近現實。

模仿大腦設計神經網絡,使得計算模型具有生物特征;借由自監督學習探究大腦原理,以期發現大腦的計算特征。這一探索過程的終點,機械與生物之間的界限正變得越來越模糊。正如凱文·凱利在其著作《必然》中所指出的,“機械的終點是生物,而生物的終點是機械”。在這個交錯的領域,究竟是否存在明確的分界線?隨著我們不斷的探索,這個問題的答案也將越發清晰。

相關推薦
免責聲明
本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。

熱門文章