新火種
2025-01-01 
大模型能力密度百日翻番，“密度定律”倒逼AI落地與進化加速并行
大模型的能力密度平均每百天翻一倍，兩三個月后就會出現替代模型。今天舉行的首屆浦江AI學術年會“大模型與超級智能”專題論壇上，專家指出，大模型能力密度正呈加速增強趨勢，而密度倍增周期決定了模型存在的“有效期”，要盡量在該周期內實現模型的應用價值。
在比摩爾定律更為“殘酷”的密度倍增周期的倒逼下，科學家和企業家正通過人工智能（AI）科學化、為大模型培育復雜推理能力、多模態綜合發展等手段，加速AI迭代進化。
能力密度持續增強，AI普惠已在路上
電池密度每10年增長一倍，芯片電路密度每18個月翻倍，而大模型的能力密度翻番速度約為100天。“這就是大模型的密度定律?！鼻迦A大學計算機系副教授劉知遠說，這意味著，隨著數據、算力和算法的協同發展，大模型的能力密度將持續增強：2020年發布的GPT-3需要用1750億參數才能達到的能力，今年2月只需24億參數即可達到，所需的訓練算力也下降了一個數量級。
根據這一定律，模型的推理成本將隨時間呈指數級下降——過去20個月，GPT-3.5級模型的推理成本約2.5個月下降一倍，至今已降到當時的1/266.7。劉知遠介紹，ChatGPT發布前，大模型能力密度倍增周期為4.8個月，在其發布后倍增周期縮短為3.2個月，隨著更多資源的投入，未來大模型能力密度增速將繼續提升。
與此同時，隨著各種終端芯片承載能力的持續增強，不少大模型都將在可預計的未來加載到智能終端上?！熬拖裥酒阅茉鰪?、價格下跌之后，隨著臺式機、手機的普及，真正掀起了信息革命的浪潮。”劉知遠認為，當普羅大眾都用得上、用得起AI，智能革命才會真正到來。
上海人工智能實驗室青年科學家陳愷認為，未來人工智能的發展將同時在兩個方向上探索：一方面不斷觸摸AI智能的上限，另一方面加速落地各種應用場景，由此形成相互促進、互為反哺的共生共榮局面，最終實現AI無處不在。
呼喚嚴肅大模型，接入更多現實數據
“如果你問AI，買哪支基金賺錢，得到的肯定是一堆‘正確的廢話’?！痹谡憬髮W計算機科學與技術學院教授趙俊博看來，只能回答“片湯話”，其根源在大模型本身的局限——既存在無法融合多模態數據的短板，更有推理能力上的欠缺。
如何才能讓大模型變得更嚴肅？趙俊博認為有兩個必要條件：一是大模型需要“看到”和“理解”行業數據，二是大模型需要理科生式的精準定量能力。
過去數年，趙俊博帶領團隊開發出了精準定量、Agent原生的數據庫大模型TableGPT，這是業內邁向嚴肅大模型的首次嘗試。實測顯示，在結構化數據、數據庫等相關任務上，TableGPT的表現比同類模型高出約35%-50%，部分表現超越GPT4。如今，該模型已在金融、保險、制造、民航、政務等多個領域落地。
西湖大學終身教授張岳認為，接入更多現實數據，對AI For Science也非常重要。他的團隊在開發世界首個天然藥材文獻大模型“神農Alpha”時，就遇到了一個藥材名稱會同時對應幾種植物的問題，比如麻黃會對應草麻黃、木麻黃等，“我們通過大量文獻比對、數據梳理，完成了2萬多個中藥命名的規范化”。
鏈接真實世界，讓生成與理解統一
作為大模型智力提升、構建世界模型的關鍵，多模態協同、融入思維鏈等話題受到業界的日益關注與重視。
水杯先漏水、后摔碎？小狗突然多冒出一個頭？為何大模型生成的視頻會出現這種不合邏輯的鏡頭？這是因為目前大模型的視覺生成和視覺理解，處于兩條完全割裂的技術路線上。北京大學深圳研究生院助理教授袁粒認為，從大模型發展到AGI（通用人工智能），生成與理解的統一是必須攻克的關卡，“理解比生成更重要”。目前，學界已在為此努力，但在具體實現的技術路線上，還將各展所長。
大模型與機器人耦合的具身智能，被認為是一條通向AGI的技術途徑。清華大學計算機系副研究員蘇航認為，具身智能快速發展，其核心在數據。完全在真實世界中采集數據，成本非常高昂，仿真數據則可低成本、大規模獲取，用于具身智能體的訓練。比如，通過仿真數據的訓練，一只機器狗可在從未接觸過的雪地中奔跑，在荊棘叢、陡坡等多種地形上自適應穩定行走，甚至在關節失能的情況下前行?！巴瑯拥牟呗?，我們還能用來訓練雙臂機器人，當然這個任務的挑戰更大。”他透露，其團隊已可讓機器人調制出一杯精美的雞尾酒。
作者：許琦敏
文：許琦敏圖：許琦敏/攝編輯：許琦敏責任編輯：任荃
轉載此文請注明出處。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
