新火種
2023-09-22 
谷歌Transformer論文合著作者離職創業放話要給AI產業探條新路
財聯社8月18日訊（編輯 史正丞）作為本輪AI熱潮的起點，谷歌在2017年發表了題為《Attention is all you need》的經典論文，對Transformer模型做出了具有歷史意義的重大改進。而根據最新的消息，這篇論文的合著作者Welshman Llion Jones已經離開谷歌，標志著當年寫這篇論文的團隊已經全部離開美國科技巨頭。
（Llion Jones在論文署名中排第5，來源：arvix）谷歌的論文也為五年后席卷全球的科技熱潮奠定了基礎，包括ChatGPT、文心一言、Bard、訊飛星火、Stability AI、Midjourney、Dall-E等幾乎所有市面上的知名產品背后都是Transformer架構。
選在這個時候在AI領域自立門戶，與揮金如土的各大巨頭展開競爭，是因為Jones對AI領域產生了一些不同的想法。
Jones與前谷歌AI日本地區的負責人、曾領導Stability AI開發的David Ha一拍即合，周四宣布在日本東京創辦了一個名為Sakana AI的新公司，追求將“大自然系統的集體智慧”引入AI領域。Sakana在日語中是“魚”的意思，代表著“一群魚聚在一起，根據簡單的規則行程連貫實體”的愿景。
（兩人官宣創業，來源：X）在Transformer架構的創新問世后，業界的發展重心一度聚焦在將各種“GPT”越做越大，而Sakana AI將聚焦在創造一個新的架構。
他們認為，當前人工智能模型的局限性在于它們被設計為脆弱的、難以改變的結構，就像橋梁或建筑物那樣。相比之下，在集體智慧的作用下，自然系統對周遭發生的變化非常敏感。自然系統會適應并成為周遭環境的一部分。Sakana AI希望使用這些進化計算的原理構建人工智能，來解決AI系統成本和安全性等問題。
David Ha對此概括稱，相較于建造一個吸收所有數據的龐大模型，Sakana AI的做法可能是使用數量巨大的小模型，每一個模型所包含的數據集都不大但有獨特的專長，然后讓這些模型進行協作來解決問題。
至于為什么要跑到東京去創業，兩位創始人表示，除了在東京呆過很多年外，他們也認為訓練在非西方社會和文化中也能表現良好的模型，能夠成為下一次技術突破的催化劑。
Tags:
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
