財富中文網
2023-11-21 
離職高級AI研究員，觸及了谷歌哪條神經？
近日，一名受人尊敬的谷歌人工智能研究人員離職，引爆輿論發問：對于關鍵人工智能技術的道德之憂，谷歌公司是否有掩蓋之圖？
離職的人工智能研究員叫蒂姆尼特·格布魯。在她離開谷歌之前，公司曾要求她撤回一篇她參與撰稿的關于大型語言模型倫理的研究論文。這些模型通過篩選龐大的文本庫創建，用以幫助創建搜索引擎及數字助手，以便更好地理解用戶并對其作出回應。
谷歌拒絕就格布魯的離職發表評論，但其示意媒體參考一封由谷歌人工智能研究部門高級副總裁杰夫·迪恩寫給員工的電子郵件。這封郵件泄露在科技通訊平臺Platformer上，迪恩在郵件中說，格布魯與另外四名谷歌研究人員和華盛頓大學的一名研究人員合作進行的這項研究，沒有達到公司的標準。
然而，格布魯和她的前人工智能倫理團隊成員都對這一觀點提出了質疑。
目前，包括2200名谷歌員工在內的5300多人簽署了一封公開信，對谷歌處理格布魯的方式表示抗議，并要求谷歌做出解釋。
據政治新聞網站Axios透露，12月9日，谷歌首席執行官桑達爾·皮查伊對員工表示，他將調查格布魯離開公司的原因，并將努力恢復大家的信任。
格布魯及其合作者質疑大型語言模型的倫理問題，到底觸及了谷歌哪條神經？答案或許已經浮現：為了這項“特殊技術”的成功，谷歌投入了很多。
在所有大型語言模型的背后，都隱藏著一種特殊的神經網絡，一種松散地基于人類大腦的人工智能軟體框架。這一名為Transformer的神經網絡由谷歌研究人員在2017年首創，現在已經被工業界廣泛采用，用于語言和視覺處理等各種用途。
這些大型語言算法建立的統計模型十分龐大，需要數億甚至數千億的變量。因此，這些模型非常擅長精準預測句子中缺失的單詞。但事實上，它們也在此過程中學會了其他技能：如回答文章附加的問題，總結文件中的關鍵信息，找出文中哪個代詞指代哪個人等等。這些事情聽起來不難，但之前的語言軟件必須得經過專門的訓練，才能最后掌握其中的某一項技能，況且效果也不好。
它們中最龐大的一個，還有更多的技能花樣：舊金山人工智能公司OpenAI創建的大型語言模型GPT-3包含了大約1750億個變量，可以根據一個簡單的人工提示寫出連貫的長篇文章。想象一下，當你寫下博客的標題和第一句話，GPT-3就能完成編寫其余的內容。目前OpenAI已經將GPT-3授權給了一些科技初創公司以及微軟，為自家服務賦能。其中一家公司用GPT-3從幾個要點中生成完整的電子郵件。
谷歌有自己的大型語言模型BERT，用以幫助增強包括英語在內的多種語言的搜索結果，而其他公司也在使用BERT構建自家語言處理軟件。
BERT經過優化，可以在谷歌自己的專門人工智能計算機處理器上運行，且僅向谷歌云計算服務的客戶提供——因此，谷歌有明確的商業動機來推動BERT的廣泛使用。而且，倘若公司想要訓練和運行自己的語言模型，必然租用大量的云計算服務，因此所有的云計算提供商都很樂意看到目前大語言模型的趨勢。
舉個例子：去年的一項研究估計，在谷歌的云平臺上培訓BERT大約花費7000美元，而同時OpenAI的首席執行官Sam Altman暗示，培訓GPT-3要花費數百萬美元。
技術研究公司弗雷斯特（Forrester）的分析師謝爾·卡爾森表示，盡管這些所謂的大型“Transformer語言模型”目前的市場相對較小，但爆炸式增長隨時可能發生。“在最近所有人工智能中，這些大型Transformer網絡對人工智能的未來來說最重要。”他說。
其中一個原因是，大型語言模型讓構建語言處理工具變得更加容易，幾乎是上手即用。卡爾森說：“只需稍加調整，您就可以擁有定制的聊天機器人，幫您處理任何事情。”不僅如此，預先訓練的大型語言模型還可以幫助編寫軟件，總結文本，以及創建常見問題及其解答。
市場研究公司Tractica于2017年發布的一份報告預測，到2025年，各類NLP（自然語言處理）軟件的年市場規模將達到223億美元。這份報告被廣泛引用，而報告中的分析是在諸如BERT和GPT-3這樣的大型語言模型出現之前進行的——這就是格布魯的論文中所詬病的市場商機。
在格布魯和她的同事看來，大型語言模型到底存在什么問題？答案很明確：很多問題。
首先，因為各種大型語言模型是在龐大的現有文本語料庫上進行訓練的，而這些系統往往會摻雜很多歧視內容，尤其是關于性別和種族的歧視。此外，論文的合著者說，這些模型太大，吸收了太多的數據，極難審計和調試，因此其中一些歧視性信息可能會被遺漏。
其次，論文還指出，在耗電量大的服務器上訓練和運行大規模的語言模型，會對環境造成碳排放量大等負面影響。論文指出，訓練一次谷歌的語言模型BERT就會產生大約1438磅二氧化碳，相當于從紐約到舊金山的一趟往返航班的排放量。
這項研究還注意到一個事實：在構建愈發龐大的語言模型上花費更多的金錢和精力，會漸漸消解人類原有的真正“理解”語言并高效學習語言的努力。
論文中對大型語言模型的許多批評，之前已經有人提出過。艾倫人工智能研究所（Allen Institute for AI）此前發表了一篇論文，研究GPT-2（GPT-3的前身）產生的種族主義語言和歧視性語言。
而實際上，OpenAI自己發布的關于GPT-3的論文就有一章概述了與偏見和環境危害有關的潛在問題，格布魯和她的合著者對這些問題進行了強調和重申。OpenAI發布的這篇論文還在今年的神經信息處理系統大會（Neural Information Processing Systems Conference）上獲得了“最佳論文”獎，據了解，這一大會在AI研究領域久負盛名。
可以說，OpenAI與谷歌有同樣的商業動機去粉飾GPT-3的缺陷，更何況GPT-3還是OpenAI目前唯一的商業產品，而谷歌早在BERT出現之前就已經賺了數千億美元了。
但話又說回來，OpenAI的運作方式更像是一家科技初創公司，而不是諸如谷歌之類的大型科技企業。大公司出于本性，不愿意給公開批評自己技術的員工發高薪，因為他們清楚，公開批評會對數十億美元的市場商機構成威脅。（財富中文網）
編譯：楊二一
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
