首頁 > AI資訊 > 行業(yè)動態(tài) > GPT-5正在秘密訓(xùn)練,開源模型仍將落后閉源2-3年!DeepMind聯(lián)創(chuàng)抖出大料

GPT-5正在秘密訓(xùn)練,開源模型仍將落后閉源2-3年!DeepMind聯(lián)創(chuàng)抖出大料

新火種    2023-09-07

作者|周愚

編輯|尚恩

最近,DeepMind聯(lián)合創(chuàng)始人、Inflection AI現(xiàn)任CEO Mustafa Suleyman在接受外媒采訪時,放出了一則重磅消息。

談及Sam Altman否認(rèn)正在訓(xùn)練GPT-5,Mustafa沒有選擇直接戳穿,而是有些陰陽怪氣地說道:“我認(rèn)為我們還是坦誠相待比較好,這就是為什么我們公開了我們所擁有的計算總量。”

言下之意,就是OpenAI正在秘密訓(xùn)練GPT-5。

此前,OpenAI發(fā)布ChatGPT企業(yè)版時,網(wǎng)友就曾熱議。一名長期研究OpenAI和ChatGPT的以色列創(chuàng)業(yè)公司CEO Yam Peleg甚至認(rèn)為:OpenAI已經(jīng)獲得了GPT-5。

圖源:X(Twitter)

這位老哥曾經(jīng)試圖反向破解嘗試GPT-4和ChatGPT的代碼解釋器。今年6月,OpenAI成員訪問以色列時,Peleg也參與了座談溝通,并和Sam Altman合影留念。

圖源:X(Twitter)

而為了顯示自己的坦誠態(tài)度,Mustafa也透露未來三年Inflection AI的大模型進(jìn)展:"在接下來的3年里,我們要訓(xùn)練的模型要比現(xiàn)在大1000倍。甚至在未來18個月內(nèi),Inflection的模型就將比目前的前沿模型大100倍。"

對于大模型如此快速的發(fā)展,有網(wǎng)友興奮地表示:活著是多么美好的一天啊!

來源:X(Twitter)

當(dāng)然,也有網(wǎng)友對AI的快速發(fā)展是否會對社會造成負(fù)面影響,表示深深的擔(dān)憂。

圖源:X(Twitter)

Mustafa在采訪中回應(yīng)稱,AI目前要具備危險的能力,仍然缺乏基本的組件,比如自主性和行動能力,這至少還需要5年甚至更久的時間。

此外,他還表示,至少在未來五年內(nèi),開源模型仍將落后于閉源模型,并分享了Google與DeepMind在倫理和監(jiān)管方面的抓馬故事。

開源這件事,過于天真了

盡管一再強(qiáng)調(diào)坦誠、透明的重要性,但對于大模型開源問題,Mustafa卻沒有那么樂觀,頗有些潑冷水的意味。

他直言:"我非常有信心,在相當(dāng)長的一段時間內(nèi),至少在未來五年內(nèi),開源模型將持續(xù)落后于最前沿的閉源模型兩到三年。"

當(dāng)包括Meta的Llama2在內(nèi)的許多大模型走向開源之路時,Mustafa卻稱:“在未來20年內(nèi),天真的開源,幾乎肯定會造成災(zāi)難”。

圖源:X(Twitter)

對于開源后,大規(guī)模訪問可能造成的風(fēng)險,Mustafa提出了一個相當(dāng)有趣又細(xì)思極恐的概念——“權(quán)力的快速擴(kuò)散”。

他表示,在未來幾年內(nèi),我們就會擁有比現(xiàn)在大幾個數(shù)量級的模型,而開源則意味著每個個體就能輕而易舉地獲得一個組織、甚至一個國家的權(quán)力,單一個體就能對世界造成前所未有的傷害和影響。

Mustafa以上一波社交媒體浪潮為例,在這波浪潮中,每個人都擁有了廣播權(quán),可以通過社交媒體的數(shù)百萬追隨者影響世界。

在過去,這幾乎是出版商專有的方式,但也意味著這些行為在大多數(shù)情況下是可被追究責(zé)任的。而在社交媒體時代,追責(zé)卻成了難以想象的事情。

另外,Mustafa還強(qiáng)調(diào),AI技術(shù)有可能降低許多潛在危險化合物或者武器的開發(fā)門檻,當(dāng)然從預(yù)訓(xùn)練中刪除這些內(nèi)容,對模型進(jìn)行對齊等方法,可以降低這樣的風(fēng)險。

但一味地開源所有模型,勢必會增大模型被利用來作惡的可能性。

當(dāng)然,Mustafa也承認(rèn),開源模型的價格合理,任何人均可嘗試,在過去對技術(shù)進(jìn)步做出了很多貢獻(xiàn),但他表示仍要頂著壓力,提醒世人注意開源的風(fēng)險。他認(rèn)為:"如果我們沒有這樣的對話,我們最終會把造成大規(guī)模混亂的破壞穩(wěn)定的工具交到每個人的手中。"

OpenAI要“保持透明”

面對AI能力的快速進(jìn)步,Mustafa一度擔(dān)心監(jiān)管政策的落后,甚至曾經(jīng)表示,要“尋求贏得時間的方法,放慢速度,為找到更多問題的答案提供空間”。

然而,現(xiàn)實似乎卻是,AI的發(fā)展正在一路高踩油門,就連Inflection AI自己也似乎沒有剎車的意圖。

目前,Inflection AI正在建造世界上最大的超級計算機(jī)之一,甚至在接下來的一年半里,還將進(jìn)行一次比GPT-4的語言模型訓(xùn)練運行大10倍或100倍的語言模型訓(xùn)練。

而Mustafa在這其中則似乎有些又當(dāng)又立,正在親自加速這場模型訓(xùn)練的軍備競賽,增加AI的風(fēng)險。

圖源:視覺中國

另一方面,AI訓(xùn)練的算力成本也正在迅速下降。

芯片算力將以2-3倍的效率快速增長,而算力成本則隨著芯片算力的迭代在不斷下降,屆時訓(xùn)練相同規(guī)模模型的成本將遠(yuǎn)遠(yuǎn)小于目前的成本。

未來AI訓(xùn)練也不需要通過一味地堆疊更多算力,來訓(xùn)練更大的模型。比如,Llama2、Falcon等模型,憑借15億參數(shù)或20億參數(shù),就獲得了有1750億參數(shù)的GPT-3的能力。

對于是否要放慢腳步,Mustafa并沒有給出回答,不過他從另一個角度,否認(rèn)了當(dāng)前對Inflection AI的質(zhì)疑并表示:“AI要具備危險能力仍然缺乏基本的組件,比如自主性和在世界上行動的能力。”

他補(bǔ)充道,AI要變得危險,還需要五年、十年、十五年,甚至二十年。我們無法知道確切的時間,但可以肯定,現(xiàn)在的AI并不危險。

而在回答這一問題時,Mustafa還輕踩了一腳OpenAI,指責(zé)OpenAI在訓(xùn)練GPT-5這件事上不夠透明,暗中秘密訓(xùn)練,甚至公然撒謊否認(rèn)正在訓(xùn)練。

與此同時,他還大方透露,為了訓(xùn)練比GPT-4更大的模型,Inflection AI目前有6000枚H100正在訓(xùn)練模型,而到12月,則會有22000枚H100用于訓(xùn)練。他表示,坦誠、透明的態(tài)度至關(guān)重要。

Mustafa還提到了自己創(chuàng)始的DeepMind,認(rèn)為DeepMind也應(yīng)該披露Gemini接受了多少FLOPS訓(xùn)練。

Google和DeepMind的抓馬

引入外部監(jiān)督進(jìn)行治理,是Mustafa在DeepMind的十年間,花費大量時間推進(jìn)的一樣工程,但最終卻很快以失敗告終。他說:“這是一項相當(dāng)痛苦的工作”,并追加表示權(quán)力方當(dāng)然不希望這樣,盡管自己認(rèn)為谷歌是出于好意,但它的運作仍然是傳統(tǒng)的官僚機(jī)構(gòu)模式。

圖源網(wǎng)絡(luò)

最初成立谷歌倫理委員會時,DeepMind計劃該委員會將由九名獨立成員組成,為DeepMind開發(fā)的敏感技術(shù)提供外部監(jiān)督。然而不幸的是,委員會成立的一周內(nèi),就有三名委員辭職,而后委員會的半數(shù)成員陸續(xù)離開。

而這場悲劇的原因是,DeepMind任命了一名曾發(fā)表過相當(dāng)嚴(yán)重爭議言論的保守派委員。就在任命消息公布的幾天內(nèi),大學(xué)校園里就展開了大規(guī)模的運動,不僅要求該委員下臺,還迫使其他委員推出,暗示他們寬恕或接納這名保守派委員的錯誤觀點。

更令人沮喪的是,公司在這個時候也開始反過來懷疑這樣工作的必要性,認(rèn)為這簡直就是浪費時間。

而在此之前,被Google收購時,DeepMind將成立倫理和安全委員會作為收購的條件,他們希望將DeepMind剝離為一家相對獨立的公司。然而,這種設(shè)想顯然失敗了,DeepMind從來都不是獨立的,而現(xiàn)在它完全是谷歌的一部分。

雖已離開谷歌,不過引入外部監(jiān)督仍然是Mustafa的目標(biāo)之一。

今年7月,Inflection AI與其他6家AI巨頭,在白宮一同簽署了八項自愿承諾,Mustafa認(rèn)為“其中一些自愿承諾應(yīng)該成為法律規(guī)定”。

他表示,作為一家公司,面對如虛假信息在內(nèi)的各種威脅總是顯得有些無力,大多數(shù)威脅必須由國家來進(jìn)行監(jiān)管、解決,比如框定有害的模型能力。

相關(guān)推薦
免責(zé)聲明
本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認(rèn)可。 交易和投資涉及高風(fēng)險,讀者在采取與本文內(nèi)容相關(guān)的任何行動之前,請務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。

熱門文章