新火種
2024-11-14 
深度學習之父Hinton備受矚目的Capsule論文今正式公布
（《麻省理工科技評論》中英文版APP現已上線，年度訂閱用戶每周直播科技英語講堂，還有科技英語學習社區哦~）在人工智能學界，Geoffrey Hinton擁有非常崇高的地位，甚至被譽為該領域的愛因斯坦。作為“深度學習”之父，也正是這個技術讓人工智能發展到今天這般炙手可熱。在人工智能領域最頂尖的研究人員當中，Hinton的引用率最高，超過了排在他后面三位研究人員的總和。目前，他的學生和博士后領導著蘋果、Facebook以及OpenAI的人工智能實驗室，而Hinton本人是谷歌大腦（Google Brain）人工智能團隊的首席科學家。事實上，人工智能在最近十年里取得的幾乎每一個成就，包括語音識別、圖像識別，以及博弈，在某種程度上都能追溯到 Hinton 的工作。
1986年，Hilton聯合同事大衛·魯姆哈特（David Rumelhart）和羅納德·威廉姆斯（Ronald Williams），發表了一篇突破性的論文，詳細介紹了一種叫作“反向傳播”（backpropagation，簡稱backprop）的技術。普林斯頓計算心理學家喬恩·科恩（Jon Cohen）將反向傳播定義為“所有深度學習技術的基礎”。歸根結底，今天的人工智能就是深度學習，而深度學習就是反向傳播，雖然我們很難相信反向傳播已經出現了30多年。然而，就在上個月，Hinton 在多倫多的一場 AI 會議上，面對媒體 Axios 的采訪時卻表達了對反向傳播算法的質疑。他認為，反向傳播算法并不是大腦運作的方式，要想讓神經網絡變得更智能。就必須放棄這種為所有數據標注的方式?！拔覀冃枰艞壍舴聪騻鞑ニ惴ǎ˙ackpropagation algorithm），重新開辟一條新的路徑。”
圖丨杰弗里·辛頓（Geoffrey Hinton）就在幾個小時之前，由 Hinton 和其在谷歌大腦的同事 Sara Sabour、Nicholas Frosst 合作的 NIPS 2017 論文《Dynamic Routing Between Capsules》已經正式對外公開，解釋了不同 Capsules 間路由的學習。毫無疑問，以此為起點，人工智能未來形態的演進和塑造很可能將會呈現一個完全不一樣的面貌。論文地址：https://arxiv.org/abs/1710.09829
圖丨剛剛公布的Hinton的論文在這篇論文中，Hinton 首先解釋 Capsule 作為一組神經元，它的活動向量（activity vector）表示特定類型實體（如某對象或某對象的部分）的實例化參數。作者使用活動向量的長度來表征實體存在的概率以及其實例化參數的方向。而活躍在同一水平的 Capsule 通過變換矩陣對更高級別 Capsule 的實例化參數進行預測。當多個預測相統一的時候，較高級別的 Capsule 就開始變得活躍。經過總結，經過區別訓練的多層 Capsule 系統在 MNIST 上實現了最優的性能，在識別高度重疊的數字時，其效果要明顯好于卷積神經網絡。為了達到這樣的結果，Hinton 他們使用了迭代的路由協議機制（routing-by-agreement mechanism）：一個低層的 Capsule 希望將其輸出發送到一個活動向量具有大標量積、預測來自低層 Capsule 的高層 Capsule。而之所以 Hinton 會提出 Capsule 的概念，這與他從 80 年代開始就關注人類大腦的原理不無關系，為此他還相繼發表了一定數量的有關腦神經科學的論文。
在人工智能發展的初期，按照正常的思路，研究人員會自然而然的聯想到將唯一擁有高級智慧的人腦作為機器的模擬對象，由此也就成就了火熱一時的人工神經網絡。不過，單層人工神經網絡的訓練方式甚至無法使機器學會最簡單的“異或”邏輯，多層神經網絡的訓練又遙遙無期。最早的神經網絡 Perceptron 誕生于1960年代，被譽為邁向類人機器智能的第一步。1969年，麻省理工學院的馬文·明斯基（Marvin Minsky）和西摩·帕爾特（Seymour Papert）發表了著作《Perceptrons》，用數學的方法證明這種網絡只能實現最基本的功能。這種網絡只有兩層神經元，一個輸入層和一個輸出層。如果在輸入層和輸出層之間加上更多的網絡，理論上可以解決大量不同的問題，但是沒人知道如何訓練它們，所以這些神經網絡在應用領域毫無作用。除了少數像 Hilton 這樣不服輸的人，大多數人看過這本書后都完全放棄了神經網絡的研究。
于是，Hinton 想到了人工神經網絡不一定非要完全按照模擬人腦的模式。因此，在上世紀 80 年代，Hinton 又另辟蹊徑提出了可以用來訓練多層神經網絡的反向傳播算法。最具標志性的就是 1986 年 Hinton 與 David E. Rumelhart 和 Ronald J. Wlilliams 合著的《Learning representations by back-propagation errors》論文的發表。2012 年，Hilton與他在多倫多的學生一道所發表的一篇論文表明，用反向傳播訓練的深度神經網絡在圖像識別領域打敗了當時最先進的系統——“深度學習”終于面世。在外界看來，人工智能似乎一夜之間突然爆發了，但對 Hilton 而言，這只是一個遲到的禮物。
圖丨1986年辛頓與他人合作的神經網絡論文但時間過去了 30 年，Hinton 卻在一個多月前宣布放棄掉了反向傳播算法。這是因為 Hinton 始終相信克服人工智能局限性的關鍵在于搭建“一個連接計算機科學和生物學的橋梁”。從這個角度看，反向傳播是受生物學啟發的計算機學突破；該理念最初并非來自工程學，而是來自心理學。因此，Hinton 正嘗試效仿這個模式。實際上，目前的神經網絡由大平面層組成，即每一層的神經元都做的是類似的事情。但人類新皮層的真實神經元不僅是水平分布成層的，還有垂直排列的。Hinton 認為，他知道這些垂直結構的作用，比如在人類視覺系統中，這些結構確保我們在視角變化時保持識別物體的能力。因此，他搭建了名為“Capsule”的人工視覺體系來驗證這個理論。
現在，對 Capsule 理論的研究還處于比較早期的階段，這也就意味著其還有很多的問題有待考察。不過，現在已經有越來越多的跡象表明 Capsule 可以解決一些問題，相信它是一個值得進一步挖掘的路徑，正如 Hinton 曾對《麻省理工科技評論》表示，“Capsule 理論一定是對的，不成功只是暫時的。”
1986年，Hilton聯合同事大衛·魯姆哈特（David Rumelhart）和羅納德·威廉姆斯（Ronald Williams），發表了一篇突破性的論文，詳細介紹了一種叫作“反向傳播”（backpropagation，簡稱backprop）的技術。普林斯頓計算心理學家喬恩·科恩（Jon Cohen）將反向傳播定義為“所有深度學習技術的基礎”。歸根結底，今天的人工智能就是深度學習，而深度學習就是反向傳播，雖然我們很難相信反向傳播已經出現了30多年。然而，就在上個月，Hinton 在多倫多的一場 AI 會議上，面對媒體 Axios 的采訪時卻表達了對反向傳播算法的質疑。他認為，反向傳播算法并不是大腦運作的方式，要想讓神經網絡變得更智能。就必須放棄這種為所有數據標注的方式?！拔覀冃枰艞壍舴聪騻鞑ニ惴ǎ˙ackpropagation algorithm），重新開辟一條新的路徑。”圖丨杰弗里·辛頓（Geoffrey Hinton）就在幾個小時之前，由 Hinton 和其在谷歌大腦的同事 Sara Sabour、Nicholas Frosst 合作的 NIPS 2017 論文《Dynamic Routing Between Capsules》已經正式對外公開，解釋了不同 Capsules 間路由的學習。毫無疑問，以此為起點，人工智能未來形態的演進和塑造很可能將會呈現一個完全不一樣的面貌。論文地址：https://arxiv.org/abs/1710.09829圖丨剛剛公布的Hinton的論文在這篇論文中，Hinton 首先解釋 Capsule 作為一組神經元，它的活動向量（activity vector）表示特定類型實體（如某對象或某對象的部分）的實例化參數。作者使用活動向量的長度來表征實體存在的概率以及其實例化參數的方向。而活躍在同一水平的 Capsule 通過變換矩陣對更高級別 Capsule 的實例化參數進行預測。當多個預測相統一的時候，較高級別的 Capsule 就開始變得活躍。經過總結，經過區別訓練的多層 Capsule 系統在 MNIST 上實現了最優的性能，在識別高度重疊的數字時，其效果要明顯好于卷積神經網絡。為了達到這樣的結果，Hinton 他們使用了迭代的路由協議機制（routing-by-agreement mechanism）：一個低層的 Capsule 希望將其輸出發送到一個活動向量具有大標量積、預測來自低層 Capsule 的高層 Capsule。而之所以 Hinton 會提出 Capsule 的概念，這與他從 80 年代開始就關注人類大腦的原理不無關系，為此他還相繼發表了一定數量的有關腦神經科學的論文。在人工智能發展的初期，按照正常的思路，研究人員會自然而然的聯想到將唯一擁有高級智慧的人腦作為機器的模擬對象，由此也就成就了火熱一時的人工神經網絡。不過，單層人工神經網絡的訓練方式甚至無法使機器學會最簡單的“異或”邏輯，多層神經網絡的訓練又遙遙無期。最早的神經網絡 Perceptron 誕生于1960年代，被譽為邁向類人機器智能的第一步。1969年，麻省理工學院的馬文·明斯基（Marvin Minsky）和西摩·帕爾特（Seymour Papert）發表了著作《Perceptrons》，用數學的方法證明這種網絡只能實現最基本的功能。這種網絡只有兩層神經元，一個輸入層和一個輸出層。如果在輸入層和輸出層之間加上更多的網絡，理論上可以解決大量不同的問題，但是沒人知道如何訓練它們，所以這些神經網絡在應用領域毫無作用。除了少數像 Hilton 這樣不服輸的人，大多數人看過這本書后都完全放棄了神經網絡的研究。于是，Hinton 想到了人工神經網絡不一定非要完全按照模擬人腦的模式。因此，在上世紀 80 年代，Hinton 又另辟蹊徑提出了可以用來訓練多層神經網絡的反向傳播算法。最具標志性的就是 1986 年 Hinton 與 David E. Rumelhart 和 Ronald J. Wlilliams 合著的《Learning representations by back-propagation errors》論文的發表。2012 年，Hilton與他在多倫多的學生一道所發表的一篇論文表明，用反向傳播訓練的深度神經網絡在圖像識別領域打敗了當時最先進的系統——“深度學習”終于面世。在外界看來，人工智能似乎一夜之間突然爆發了，但對 Hilton 而言，這只是一個遲到的禮物。圖丨1986年辛頓與他人合作的神經網絡論文但時間過去了 30 年，Hinton 卻在一個多月前宣布放棄掉了反向傳播算法。這是因為 Hinton 始終相信克服人工智能局限性的關鍵在于搭建“一個連接計算機科學和生物學的橋梁”。從這個角度看，反向傳播是受生物學啟發的計算機學突破；該理念最初并非來自工程學，而是來自心理學。因此，Hinton 正嘗試效仿這個模式。實際上，目前的神經網絡由大平面層組成，即每一層的神經元都做的是類似的事情。但人類新皮層的真實神經元不僅是水平分布成層的，還有垂直排列的。Hinton 認為，他知道這些垂直結構的作用，比如在人類視覺系統中，這些結構確保我們在視角變化時保持識別物體的能力。因此，他搭建了名為“Capsule”的人工視覺體系來驗證這個理論。現在，對 Capsule 理論的研究還處于比較早期的階段，這也就意味著其還有很多的問題有待考察。不過，現在已經有越來越多的跡象表明 Capsule 可以解決一些問題，相信它是一個值得進一步挖掘的路徑，正如 Hinton 曾對《麻省理工科技評論》表示，“Capsule 理論一定是對的，不成功只是暫時的。” 相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
