新火種
2024-11-20 
GPTNext年底來襲，有效計算量百倍GPT-4，OpenAI耗資數百億打造基建
KDD上的一張PPT，再次掀起AI圈的風暴。
GPT Next今年準是跑不了了，而且有效計算量是GPT-4的100倍，預示著OpenAI未來模型的能力進一步提升。
這是OpenAI日本首席執行長Tadao Nagasaki，在KDD 2024峰會上，透露的關于下一代模型最新信息。
見過這張圖的人，一眼便認出，它的出現已經不下3次了....
GPT Next今年發布，瘋狂暗示
5月，在巴黎舉行的Viva科技節上，OpenAI研究人員也將2024年，發布的模型稱為GPT Next，性能遠高于GPT-4。
Nagasaki曾擔任AWS日本總裁，直到今年4月，正式加盟OpenAI成為日本地區的負責人。
他稱，與傳統軟件相比，AI技術正在呈指數級發展。
他進一步表示，雖然GPT-3和GPT-4的能力相對接近，但GPT Next預計將取得實質性地性能躍升。
這恰恰呼應了微軟Build開發者大會上，首席技術官Kevin Scott曾說的話，并暗示著截止今年年底，我們將擁有一個功能更強大的OpenAI模型。
會上，公布的關于獵戶座（Orion）和草莓項目更多信息包括：
今年發布的GPT-4 Next，預計將使用迷你版草莓進行訓練，其計算資源與GPT-4大致相同，有效計算量是GPT-4的100倍。
這款全新AI模型將在過去基礎上，進化近百倍。
這100倍的增長，可能不是指計算資源的規模，而是有效計算量+ 2個OOM，包括對體系結構和學習效率的改進。
最近曝出的Orion，與GPT-4相比，相當于在10k H100上用時幾個月完成訓練，增加了10倍的計算資源規模，相當于+3 OOM，預計明年發布。
此前，Information也爆料稱，OpenAI正在開發兩個AI新系統：
一個是草莓，在數學和編程等領域，有著更高能力的人工智能模型。另一個是獵戶座，可能成為GPT-4的繼任者，或者就是GPT Next。
獵戶座可能會用草莓生成高質量數據進行訓練，而且會大幅提升邏輯推理能力。
另外，Nagasaki還表示，OpenAI在全球擁有不到2000名員工，其中一半從事人工智能開發。
另一張，網上流傳的圖稱，不要以GPT-4o的進展，來預測Scaling Law。
大模型相當于需要1.5-2年的時間，才能真正進化出下一代。
而且，一名三星的高管稱，GPT-5可能有3-5萬億個參數，而GPT-4僅有1.7萬億。
這背后原因，不言而喻。
先機大模型的誕生，需要有強大算力基座。
耗資數百億美元，打造新基建
知情人士稱，Sam Altman正計算大規模建設AI所需的機器和系統。
而且，這一計劃將分散在美國各州展開，預計將耗資數百億美金。
今年2月，彭博曾報道，奧特曼一直在尋求美政府對該項目的批準。
這一項目希望，形成一個全球投資者聯盟，進而為AI發展所需的基礎設施提供資金支持。
而最新的細節是，目前正討論的項目類型包括，建設數據中心，增加能源容量，利用渦輪機、發電機傳輸電力，并擴大半導體制造。
據稱，支持者可能包括加拿大、韓國、日本、阿聯酋的投資者。
最近幾周，包括奧特曼在內的OpenAI高管，一直在與投資者會面，推進這筆交易。OpenAI首席戰略官Jason Kuan還前往日本韓國，與投資者談論這項計劃。
OpenAI還設想微軟，能夠參與這一項目。
恰在談判之際，OpenAI即將開啟新一輪數十億美元的融資，將由Thrive Capital牽頭，微軟、蘋果、英偉達也參與其中。
這輪融資結束后，OpenAI估值將超過1000億美元。
OpenAI又要截胡谷歌？
一位網友聽到一些傳聞，OpenAI可能于10月17日周四發布新的東西。
具體是什么，不太確定，有可能是GPT-4o模型更新，也有可能是SearchGPT公開推出。
但有一點可以肯定的是，那就是，它一定不會是全新的前沿模型。
谷歌DeepMind的首席科學家對此表示，「以一種奇怪的方式得知，我的公司將在10月18日宣布一些事情」。
這樣的情況也確實屢見不鮮，從年初谷歌Gemini 1.5 Vs OpenAI Sora，再到5月谷歌支持200萬token Gemini 1.5 Pro和OpenAI GPT-4o，一直打到了現在。
而且，幾乎每次重大發布，OpenAI都要給谷歌來上重重一擊。
作者：新智元，編輯：桃子，36氪經授權發布。
Tags:
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
