新火種
2024-11-20 
GPT-5被曝不及預期，OpenAI員工：沒什么科學突破了
猛料來了，OpenAI下一代旗艦模型被曝提升不如預期。
消息來自The Information，具體指代號“獵戶座”（Orion）的模型相對GPT-4的提升幅度，小于GPT-4相對GPT-3，已進入收益遞減階段。
或許這也是奧特曼曾說，可能不會把新模型命名為GPT-5的原因之一。
消息一出，著名悲觀派學者Gary Marcus直接半場開香檳，宣布自己勝利。
在更詳細的一篇文章中，他認為整個AI行業公司的高估值建立在模型能力不斷增強、迅速達到AGI的預期之上。
如果改進放慢了，多數AI公司都能趕上最前沿模型的水平。從此行業進入價格戰，收入保持在低位。同時因芯片成本高昂，利潤也將難以獲得。
當每個人都意識到這一點時，金融泡沫可能會迅速破滅，即使是英偉達也可能受到打擊。
并且，遇到瓶頸的或許不只OpenAI，此前Anthropic沒有如期發布Claude 3.5 Opus，并且從官網刪除了相關描述。
以及谷歌Gemini 2雖然計劃很快發布，但也被曝性能提升不及DeepMind創始人的預期。
大模型Scaling Law真的撞墻了嗎？
“獵戶座”被曝不及預期，奧特曼：AGI 2025
根據目前消息，長期跟蹤ChatGPT進展和網頁源碼的“光頭哥”Tibor Blaho總結如下：
參與測試新模型的OpenAI員工稱， “獵戶座”僅完成20%訓練時就達到了GPT-4級別的性能。
但最終質量提升小于從GPT-3到GPT-4的飛躍，這表明傳統的Scaling可能由于高質量數據變得有限而放緩。
訓練“獵戶座”使用了先前模型（GPT-4和o1）生成的數據，這可能導致它重現舊模型的一些行為。
OpenAI創建了一個“基礎團隊”，在高質量數據供應減少的情況下尋找新方法。
o1類模型成本是傳統模型的6倍，“獵戶座”可能提高OpenAI數據中心的運營成本，進一步增加財務壓力。
OpenAI正在做“獵戶座”的安全測試，計劃于明年年初發布，可能不會再命名為GPT系列。
與此同時，從OpenAI CEO和許多資深員工那里傳來的卻是不同的故事。
首先是奧特曼接受YC總裁Garry Tan采訪，在回答最后一個問題“2025年什么會讓你興奮”時，脫口而出“AGI”，沒有半秒猶豫。
這段采訪引起爭議后，強化學習大牛Noam Brown發聲：
我聽人們說奧特曼只是在炒作，但從我的觀察來看，他說的一切都符合OpenAI一線研究員的中位數觀點。
今年1月才入職OpenAI的特斯拉前工程師也表達了認同：
自從我加入以來，我的觀點已經從“這是毫無成效的炒作”轉變成“AGI基本就在這里”。
恕我直言，接下來的科學創新會相對很少，將由多年的艱苦工程代替。
那么，究竟發生了什么？
在Garry Tan與奧特曼的對話中，兩人從奧特曼早期在YC的經歷，談到OpenAI的創立、發展過程，以及給如今創業公司的建議等等。
在接近結束的時候，Garry Tan拋出了這樣的問題：你從去年秋天的動蕩中學到了什么？你對一些人員離職有什么感受？
奧特曼回答：很累，但感覺很好。
ChatGPT還不到兩歲，我們有點像在兩年內速通了中型甚至大型科技公司的發展歷程，通常需要十年時間。
這帶來了很多痛苦的事情。任何公司在擴張時，都會以某種速度經歷管理團隊的更替。擅長從0到1的人不一定適合從1到10或從10到100的階段。
我希望我們現在正走向一個更平穩的時期，但我確信將來還會有其他時期，事情會再次變化劇烈。
Garry Tan接著提問：我想知道OpenAI現在運作得如何？目前的質量和推進速度如何？
奧特曼接下來的回答雖然一如既往地打太極，但引起很多關注：
這是我們第一次真正知道該做什么。構建AGI仍然需要大量的工作，有一些已知和未知，還需要一段時間，而且會很困難，但這非常令人興奮。
我們的研究路徑相當清晰，我們的基礎設施路徑相當清晰，產品路徑也越來越清晰……很長一段時間，我們都不是這樣。
評論區的網友顯然不買賬，有人懷疑這只是奧特曼在試圖修改AGI的定義，按照合同，一旦董事會宣布AGI達成，就可以停止與微軟分享技術了。
也有人指出，這無法解釋最近OpenAI人才頻繁出走。
對于人才流動，OpenAI模型架構研究員Rohan Pandey表示，并沒有人們以為的那么嚴重。
今年早些時候OpenAI員工總數被曝已超過1700，比去年董事會叛變時期增加了上千人。
也有網友認為，反過來也說得通：
OpenAI高管看到技術進展很快，所以提前離開去創辦AI智能體公司。
參考鏈接：
[1]https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows
[2]https://www.youtube.com/watch?v=xXCBz_8hM9w
[3]https://garymarcus.substack.com/p/confirmed-llms-have-indeed-reached
[4]https://www.theverge.com/2024/10/25/24279600/google-next-gemini-ai-model-openai-december
[5]https://x.com/btibor91/status/1855381376054251654
作者：夢晨
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
