新火種
2024-12-19 
張宏江再次炸裂預測：多模態大模型即將實現，AGI奇點來臨｜2024T-EDGE
北京智源人工智能研究院創始理事長，美國國家工程院外籍院士 張宏江
12月6日-7日，2024 T-EDGE創新大會暨鈦媒體財經年會在北京市大興區舉辦，以“ALL-in on Globalization ，ALL-in on AI”為主題，匯聚全球科技和商業領導者，共同探討人工智能對全球各行業的巨大影響，以及企業全球化增長新格局新趨勢。作為鈦媒體集團每年年終舉辦的科技和財經領域的頂級盛會，T-EDGE一直代表了鈦媒體在科技與經濟前瞻性，以及推動國際創新交流上的高質量追求。
12月7日，T-EDGE 全球AI論壇：All-in On AI會議上，北京智源人工智能研究院創始理事長，美國國家工程院外籍院士 張宏江，以“ChatGPT發布24個月后的6點觀察”為主題，圍繞 AI 大模型發展與應用展開深度演講。
張宏江表示，隨著ChatGPT風靡全球，世界迎來新的 AI 革命，模型參數規模形成指數級“Scaling Law”發展。
在ChatGPT發布24個月后的今天，張宏江認為大模型領域有六個比較重要的技術趨勢：Scaling Law沒有全面放緩，AI將創造新的操作系統、新平臺、新生態，大模型推動存量和新增應用，多模態大模型是AGI的終極模型，多模態大模型賦能機器人，以及大模型的未來將迎來“自主智能”的世界。
張宏江指出，對于最近“Scaling Law放緩”、大模型面臨挑戰等傳聞和說法，他認為并不用擔心Scaling Law放緩。“即使在Pre-Training（預訓練）有放緩趨勢，但o1的發布，讓我們看到另外一個天地，就是相對于預訓練模型的‘快思考’模式，推理模型o1可以給更多的思考時間，Scaling Law的推理性能已出現‘拐點’，有一個指數級增長。”
實際上，在去年2023T-EDGE大會上 ，張宏江曾判斷，GenAI將重寫軟件業，過去一年的發展充分驗證了張宏江的預測，美國To B企業軟件行業正飛速被AI迭代，并且這些軟件服務企業正式進入了盈利時代。（詳見鈦媒體App前文：《張宏江：所有產業都將被AIGC重寫，完全自動駕駛將有望實現 ｜鈦媒體T-EDGE 2023》）
“過去一年，美國有很多ToB應用爆發，但很遺憾，中國與美國在這點上有很大的差距，中國To B市場非常小，或者To B軟件公司收入規模遠不如美國，所以 AI 大模型重寫軟件服務依然需要時間進行落地。”張宏江稱。
實際上，AI 大模型作為基礎平臺，將會系統性推動所有產業進入新范式，成為下一個時代的“超級入口”。張宏江曾談到，AI 將重寫所有軟件應用和產業，提升每個領域的生產力。未來1.5年-2年，人類或將可以看到大規模商業落地曙光。
張宏江在T-EDGE大會上曾指出，所有的軟件公司都必須擁抱大模型，包括軟件工具、應用服務等類型企業，都需要啟用大模型重寫軟件。
展望未來，在張宏江看來，多模態大模型將是 AGI 的終極模型形態，形成從語音、圖片、視頻，到端到端統一的多模態大模型十分重要。同時，AI應用層面將從AI Infra（基礎設施）、AI PC、AI手機，到 AI 軟件、自動駕駛、（人形智能）機器人、AI for Science（科學智能）等領域都將迎來新的機遇。
張宏江強調，未來每個人都從 AI 助理走向Agent，最后每個人都擁有一個AutoPilot，大模型將迎來一個自主智能的世界。隨著大模型發展，統一的多模態大模型有望實現“突破”，這些新的技術變革，將讓 AGI 奇點即將到來。
（本文首發于鈦媒體App，作者｜林志佳，編輯｜胡潤峰）
以下是張宏江演講全文，經整理：
各位鈦媒體的嘉賓，大家下午好！
今天，我想用下面的時間，跟大家分享一下我對于大模型的發展與應用、過去ChatGPT發布的24個月的幾點觀察，我這邊總結出6點：
1、Scaling Law（規模效應）還有效嗎？
近日，OpenAI發布了o1模型，其在推理方面很大程度上超過了人的平均IQ（通常智商）。這也是我們第一次看到在推理上，過去這些模型，第一次超過了人類的IQ的平均值。
那么，先說我的第一個觀察，因為最近大家這個聊得比較多的，就是說Scaling Law是不是發展“到頭”了？
在此之前，我們先回答，為什么Scaling Law如此重要？
當ChatGPT這個幾千億參數的模型發布之時，自然語言處理的性能形成了指數級提高，就是我們所說的Scaling Law，它是大模型的規模定律。Scaling Law認為，模型的參數增大，到一定程度的時候，你才真正能看到模型的精度，有一個突飛猛進的增長，也就是出現“涌現”。
如果我們從圖上來看的話，這事實上是我們看到一個明確的拐點，從一開始現象的非常緩慢的增加，它的精度，突然到了一個拐點，當我們的規模到了一定程度以后，就出現一個拐點沖兒，它的性能有足夠性的往上講，那么在幾個方面都出現了這樣的拐點，那么這個拐點我們把它叫做“涌現”。所以，我們過去的十幾年來，看到模型越做越大，繼而看到了這個“規模效應”。
最近這種說法受到了一些挑戰。
首先，我們看到，現在很多模型訓練到一定規模以后，好像沒有辦法的往前走，主要有幾個方面：一方面是說，數據是不是不夠；另一方面是說，算力是不是還夠。
其次，更重要的是，我好像很長時間沒有看到大模型性能大的改善。比如，人們一直沒有看到GPT-5的發布，大家是不是認為，這個模型到了某個規模的話，數據可能不夠了訓練不出來了。這些問題肯定是值得大家思考的。
然而，我想要說的是，其實我們不用擔心Scaling Law放緩，因為其即使在Pre-Training（預訓練）有放緩趨勢，但o1的發布，讓我們看到另外一個天地，就是相對于預訓練“快思考模式”，推理模型o1可以給更多的思考時間，所以，我們看到Scaling Law的推理性能出現“拐點”，有一個指數級增長。
01模型的新方法：引入“思考時間”（thinking time）的概念，允許模型在給定的計算預算內進行更多的計算迭代。推理計算可能隨“思考時間”呈指數級增長，而不是線性增長。
最后，在推理模型領域，Scaling Law效應一直在持續而非放緩，這是我對此非常有信心的思考。
2、新操作系統、新平臺、新生態
如果大家去年聽過我的演講的話，一定會對這張PPT不會陌生。
首先，大模型實際上是一個新的操作系統，從而會建立一個新的平臺，那么，我們同樣也需要建立一個新的生態。
我們看一下所謂的 AI 操作系統是什么，無非就是能夠獲取人的命令，能夠執行人的命令，能夠調用數據來進行計算。今天，大模型通過自然語言的交互，通過多模態的交互，就能夠理解人們的需求，能夠開始執行計算，所以我們說，大模型是新一代的操作系統。
其次，AI大模型擁有如此強大的技術能力，它將會重寫所有的軟件。
最后，既然是一個新的操作系統、一個新的平臺，那一定會產生一個新的生態。如果我們看一下，如果把模型作為最核心的一塊底層的話，實際上我們可以看到，云架構、數據中心底層是芯片。
這就是為什么我們看到，英偉達過去兩年快速成長，云廠商和數據中心廠商過去兩年也快速成長，這都是由于大模型訓練、推理所拉動的。那同樣，為了訓練模型，我們在數據處理、數據存儲、數據交互建立一個新生態，AI infra也需要快速發展，才能讓大模型應用落地。所以，這是一個非常豐富的生態，比傳統的軟件生態要豐富的多，它能帶來的創新、影響、技術變革時間，也會相當長。
作為生態的推動者，大模型不止要推動硬件、芯片廠商，而且還要推動數據中心相關的硬件廠商更進一步，帶動能源的需求，帶動能源的發展。所以，我相信，AI 大模型生態鏈會比之前PC、手機的生態鏈要更加強大。
另外一點，基礎模型訓練成本如此之高，而端側、推理模型需求才剛剛開始，AI PC、AI Phone手機會慢慢發展。
未來，我相信大模型在數據中心、推理混合模式等方面，以及端側和云端的結合，會帶動產業鏈快速發展。
3、大模型推動存量和新增應用
第三個觀察，我要分享，大模型將同時推動存量和新增應用。
過去兩年，我們好像沒有看到很多 AI “殺手級”應用出來，所以大家擔心這個“浪潮”是不是將會失去。但其實，在技術快速發展的時候一定有很多機會，而在技術平緩、成熟的時候，也同樣存在一定的機會，AI 應用的需求和數據中心的昂貴成本將推動邊緣AI快速發展。
我認為大模型應用可能分為四個階段：
1）第一波增長的 AI Infra（基礎設施）、芯片和數據中心、能源等；
2）第二部分是PC、智能手機等硬件應用。
3）大規模 AI 應用。其實在美國，硬件端側設備還沒有起來之前，過去一年有很多 To B 應用爆發性成長，但很遺憾，中國與美國有很大的差距，中國To B軟件市場非常小，或者說To B軟件公司規模遠不不如美國，所以 AI 重寫大模型依然需要時間落地。
4）大模型在物理層面的爆發，比如自動駕駛、（人形智能）機器人、AI for Science（科學智能）都會越來越廣泛、成熟發展。
所以，我們有理由相信，無論是自動編程，還是智能交互、客服、內容生成，大模型所推動的 AI 應用發展速度一定會超過早期的互聯網、移動互聯網時期。
4、多模態大模型是AGI的終極模型
我的第四點觀察是，多模態生成大模型是AGI（通用人工智能）的終極模型。
實際上，我們人與人交流是通過語言模型，但人與世界之間的互動，還需要視覺、語音等其他不同模型的形態。因此，統一的多模態大模型才能夠解決所有理解的問題。
那么，我們過去一年就會看到多模態生成模型的快速發展，文生圖、文生視頻、圖生視頻等等，最有代表性的是OpenAI Sora，具有產生非常漂亮、內容逼真視頻的能力，以及理解、描述和，模擬現實世界能力，展現出世界模型的雛形。世界模型是一個重要方向，是我們達到通用人工智能的重要一環。
近期，李飛飛創立的公司World Labs日前分享了一項成果，也非常震撼：只需單張圖像即可生成三維世界，團隊研發的 AI 系統可以允許用戶進入任何圖像，并以三維方式進行探索其中的世界。這是非常非常重要的進步。
通向通用人工智能（AGI），我們希望把所有理解現實世界的能力、交互能力、和生成能力，建立在一個模型里面，這樣才能真正接近我們人類思考的方式。要達到這個目標，形成端到端統一的多模態大模型十分重要。
比如，GPT-4o的發布，給人們呈現了所謂的“Her”，即電影”Her“中的主人公——AI 私人助理，逐漸有情感，開始對人有依賴，能給有情感的與人交互，那么，GPT-4o的演示恰恰表現出這種能力雛形，做到了生成、推理、語音、視覺等技術統一到一個模型當中的“第一步”。智源研究院最近發布的EMU3大模型把統一的多模態大模型發展向前推進了非常重要的一步。
5、多模態大模型賦能機器人
為什么我們認為，多模態的發展如此重要？其實有一個點在于，有了多模態大模型的突破，我們才能夠真正的賦能于機器人，才能真正開發出通用、能自我規劃、自主的機器人。
實際上，傳統機器人的模型完全是由人來設計的，把復雜任務分解變成“簡單任務”，然后對于每個簡單任務進行人工設計，由規則來驅動運動的規劃，這是非常原始的模型。那么，有了語言大模型和世界大模型之后，我們能夠把復雜的任務通過多模態大模型分成“簡單任務”，能夠聽懂人的這種命令，然后又能夠進一步通過視覺模型分解成機器的動作，從而完成復雜-簡單-機器動作的過程。
未來，多模態大模型驅動的“具身智能”模型，能給讓復雜的任務一步到位，分解成機器的動作，這是我們的目標。
正是因為多模態大模型的迅速發展，過去一年迎來了通用、人形機器人“熱潮”。但有一點我們要特別注意，中國在機器人的“本體”走在世界前列，但是需要有多模態大模型、具身智能的能力，只有具備這些能力后才能看到通用機器人的“起飛”（迅速發展）。
6、大模型的未來：自主智能的世界
最后一點我的觀察就是，大模型的未來會帶來一個自主智能的世界。
我們過去幾十年看到 IT 產業不斷進步，但PC、互聯網真正實現的是“信息系統”。而我們今天真正進入的則是 AI 時代、模型時代。
那么未來，隨著AI大模型的發展驅動，一定會讓我們進入“自主智能”的時代。無論是軟件，還是機器人本體，都能夠有自主決策和行為能力，從而真正進入所謂自主智能的世界。
無論是現有應用，還是新的應用層面，我們都可以看到大模型智能體（AI Agent）的廣泛賦能，而Agent的這種方式廣泛應用需要智力、AI 能力的迅速提升。那么，隨著 AI 這一輪浪潮不斷發展，未來所有應用都會像Copilot一樣無處不在，而且會越來越智能，從而將Copilot變成“AutoPilot”。
未來，我們每個人都將有一個 Agent。從助理、代理，再到AutoPilot，意味著未來大模型會給整個產品設計、社會組織、就業變化、業務成長等方面帶來巨大機遇，會迎來一個“自主智能”的世界。
而這意味著，我們需要增加更多的GPU，訓練更大模型、更強模型，以及更多的數據，這些都會成為企業的核心資產，大模型的未來對于我們生活和工作、企業組織、人員就業帶來非常深刻的變化。
7、結語
講了六點觀察，最后是我的結束語：通用人工智能（AGI）奇點是不是已經來臨？
如果你要問馬斯克（Elon Musk），他說已經到了；如果問美國AI大模型獨角獸Anthropic CEO Dario Amodei，他說2026年；如果你要問谷歌DeepMind CEO Demis Hassabis，他說可能還有十年；如果問辛頓（Geoffrey Hinton），他說還有5-20年。
所以這意味著，技術發展比人們學習 AI 的速度要快，人類進化的速度是一條直線，但 AI 技術發展的速度是一條指數級增長曲線，始終沒有與人類學習能力的曲線相交叉。那么，一旦它們之間出現“交叉”，那就是奇點的來臨。
今天，我們有理由相信，隨著大模型學習能力越來越強，Scaling Law發展速度越來越快，AI 原生應用迅速落地和成長，統一的多模態大模型實現“突破”，這些技術變革將讓奇點很快到來，也就是所謂“自主智能”的時代很快到來。
好，謝謝大家！
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
