李丹
2024-11-14 
不止OpenAI“獵戶座”！谷歌和AnthropicAI模型開發也被爆遇瓶頸
本文作者：李丹
來源：硬AI
不止是OpenAI備受關注的下一代模型“獵戶座”（Orion），谷歌和OpenAI的勁敵、另一明星人工智能（AI）初創Anthropic也傳出了先進AI模型開發遭遇瓶頸的消息。
美東時間11月13日周三，彭博社報道援引兩名知情者的消息稱，OpenAI今年9月完成了獵戶座的首輪訓練，希望它能大大超越此前的一些版本，更接近AI超越人類這一目標，但獵戶座未能達到公司期望的性能，比如截至夏末，該模型在嘗試回答未經訓練的編碼問題時還表現不佳。
知情者評價，總體而言，到目前為止，相比GPT-4超越GPT-3.5的表現，獵戶座和OpenAI現有模型相比進步沒那么大。
報道還援引其他三名知情者消息的稱，谷歌即將推出的新版Gemini并未達到內部預期，Anthropic也推遲了被稱為的3.5 Opus的Claude模型計劃發布時間。
報道認為上述三家公司開發AI模型面臨多重挑戰，他們越來越難以找到尚未開發的高質量人造訓練數據。例如獵戶座的編碼性能未能令人滿意就部分源于缺乏足夠的編碼數據進行訓練。即使是適度的模型性能提升也可能不足以證明，打造和運行新模型的巨大成本合理，或者無法滿足重大升級的期望。
AI模型開發瓶頸的問題挑戰了被很多初創甚至科技巨頭都奉為圭臬的定律Scaling law，也讓AI大舉投資即實現通用人工智能（AGI）的可行性遭到質疑。
曾提到，OpenAI早在2020年就提出的該定律是指，大模型的最終性能主要與計算量、模型參數量和訓練數據量三者的大小相關，而與模型的具體結構（層數/深度/寬度）基本無關。今年7月微軟的首席技術官（CTO）Kevin Scott還為這個定律辯護，稱Scaling law仍適用于當前業態——在擴張大模型的同時，邊際效益并沒有遞減。
巧的是，上周就有媒體爆料，OpenAI發現獵戶座“沒有那么大飛躍”，進步幅度遠不如前兩代旗艦模型。這一發現直接挑戰了AI領域一直奉行的Scaling law。由于高質量訓練數據減少以及計算成本增加，OpenAI的研究人員不得不開始探討是否有其他改進模型性能的方法。
例如，OpenAI正在將更多代碼編寫功能嵌入其模型，并試圖開發一種軟件，可以接管個人電腦，通過執行點擊、 光標移動等其他操作， 完成網絡瀏覽器活動或應用程序的任務。
OpenAI還成立了一個專門團隊，由之前負責預訓練的Nick Ryder領導，負責探索如何優化有限的訓練數據和調整擴展法的應用，保持模型改進的穩定性。
對于本周三的彭博報道，谷歌DeepMind 發言人表示，公司“對 Gemini 的進展感到滿意，我們會在準備就位時分享更多信息?！監penAI 拒絕置評。Anthropic 也未置評，但提到了周一發布的一段博客內容，在那段長達五小時的播客中，有 Anthropic CEO Dario Amodei的發言。
Amodel稱，人們所說的scaling law并不是一種定律，這是用詞不當，它不是通用的定律，而是經驗規律。Amodel預計scaling law會繼續存在，不過并不確定。他說未來幾年有“很多事”可能會“破壞”實現更強大 AI 的進程，包括“我們可能會耗盡數據?！钡麡酚^地認為 AI 公司會找到克服一切阻礙的方法。
對于彭博的報道，提供企業定制AI解決方案的公司NossonAI的創始人Nosson Weissman評論稱，報道并未讓他困惑，因為首先，他沒有看到在AI領域做出過重大貢獻的真正的專家表達過同樣看法，其次，我們經?？吹侥Ｐ头矫嫒〉弥卮筮M展，最后，他認為新聞媒體喜歡制造戲劇效果，這篇報道看來只是起了一個漂亮的戲劇性標題。
本文來自微信公眾號“硬AI”
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
