AI進步放緩、遭遇瓶頸?OpenAI等頭部公司:不存在!
近日,多家媒體接連爆料AI公司遭遇廣泛的技術(shù)升級瓶頸,“推遲”、“質(zhì)疑”、“未達預(yù)期”這類詞語頻繁出現(xiàn)在報道中。在AI變得越來越觸手可及的當下,這些AI公司似乎正在陷入升級困境。
據(jù)BusinessInsider 11月27日報道,AI技術(shù)的進步正在放緩,大模型性能提升瓶頸、訓(xùn)練數(shù)據(jù)短缺、訓(xùn)練數(shù)據(jù)質(zhì)量問題、推理能力提升遇阻等是這一領(lǐng)域面臨的主要困境。
然而,以O(shè)penAI、谷歌等為主的幾家頭部公司卻堅稱,AI并沒有遇到所謂的“壁壘”和“瓶頸”。他們依然對AI的前景感到樂觀,并認為通過開發(fā)新型數(shù)據(jù)源、增加模型推理能力以及應(yīng)用合成數(shù)據(jù),AI模型將繼續(xù)保持進步。
OpenAI的首席執(zhí)行官Sam Altman是首批發(fā)聲的人之一,本月他在社交平臺上稱:“根本沒有瓶頸”(there is no wall)。Anthropic和英偉達的CEO也表示,AI的進步并未放緩。
AI困境當下,包括Marc Andreessen在內(nèi)的一些人士質(zhì)疑,AI模型的性能提升并不顯著,且趨于同質(zhì)化。對于科技行業(yè)來說,這是一個價值數(shù)萬億美元的問題,因為如果現(xiàn)有的AI模型訓(xùn)練方法回報遞減,可能會影響到新創(chuàng)企業(yè)、產(chǎn)品以及數(shù)據(jù)中心的投資熱潮。
據(jù)BusinessInsider梳理,AI領(lǐng)域廣泛面臨的困境包括訓(xùn)練數(shù)據(jù)枯竭、性能提升遇阻等問題。
在AI研發(fā)的早期階段,企業(yè)可能會遭遇兩個主要瓶頸:計算能力和訓(xùn)練數(shù)據(jù)。首先,獲取專用芯片(如GPU)的能力有限,影響大模型訓(xùn)練。其次,訓(xùn)練數(shù)據(jù)的瓶頸逐漸顯現(xiàn),互聯(lián)網(wǎng)上公開可用的數(shù)據(jù)資源已經(jīng)逐漸枯竭。研究機構(gòu)Epoch AI預(yù)測,到2028年,能夠用于訓(xùn)練的數(shù)據(jù)可能會耗盡。
數(shù)據(jù)質(zhì)量也成為一大問題。過去研究人員可以在預(yù)訓(xùn)練階段對數(shù)據(jù)質(zhì)量要求不高,但現(xiàn)在需要更加關(guān)注數(shù)據(jù)的質(zhì)量,而不僅僅是數(shù)量。
而推理能力的提升和突破被認為是AI發(fā)展的下一個關(guān)鍵方向。OpenAI前首席科學(xué)家Ilya Sutskever本月對媒體表示,模型在預(yù)訓(xùn)練階段的規(guī)模擴展已經(jīng)達到平臺期,且“大家都在尋找下一個突破”。
與此同時,AI的升級成本正在不斷增加。隨著模型規(guī)模擴大,計算和數(shù)據(jù)處理成本顯著增加。據(jù)Anthropic的CEO透露,未來一次完整的訓(xùn)練過程可能需要高達1000億美元的投資,這包括GPU、能源和數(shù)據(jù)處理的巨大成本。
各大公司正在突破壁壘面對質(zhì)疑聲,各大AI公司相繼提出了自己的計劃來應(yīng)對AI發(fā)展的瓶頸。
當下,多家公司探索利用多模態(tài)數(shù)據(jù)和私人數(shù)據(jù)來應(yīng)對公開數(shù)據(jù)不足的問題。多模態(tài)數(shù)據(jù)涉及將視覺和音頻數(shù)據(jù)輸入AI系統(tǒng),而私人數(shù)據(jù)則通過與出版商達成許可協(xié)議獲取。與此同時,提升數(shù)據(jù)質(zhì)量也成為研究的重點,生成合成數(shù)據(jù)(由人工智能生成的數(shù)據(jù))成為一種可能的解決方案。
此外,微軟和OpenAI等公司正在努力賦予AI系統(tǒng)更強的推理能力,使其能夠在面對復(fù)雜問題時作出更深入的分析。
OpenAI:正在通過與Vox Media和Stack Overflow等組織的合作,以獲取私人數(shù)據(jù)用于模型訓(xùn)練。此外,他們還推出了新的模型o1,嘗試通過“思考”來改善推理能力。英偉達:正克服供應(yīng)限制,確保GPU的供應(yīng)以支持AI模型的訓(xùn)練。谷歌DeepMind:公司AI實驗室正在調(diào)整策略,不再單純追求模型規(guī)模的擴大,而是通過更高效的方式來專注于特定任務(wù)的專精。微軟:在最近的Ignite活動中,CEO Satya Nadella提到,他們正在研究新的“測試時間計算”模式,允許模型在應(yīng)對復(fù)雜問題時花費更多時間,提高推理能力。Clarifai和Encord:正在探索多模態(tài)數(shù)據(jù)的使用,以突破公共數(shù)據(jù)瓶頸。多模態(tài)數(shù)據(jù)結(jié)合了視覺和音頻信息,可為AI系統(tǒng)提供更多元化的數(shù)據(jù)源。Aindo AI和Hugging Face:正在研究合成數(shù)據(jù),以提高數(shù)據(jù)質(zhì)量。本文來自華爾街見聞
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內(nèi)容相關(guān)的任何行動之前,請務(wù)必進行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責任。