新火種
2025-01-13 
百度最早發現大模型中的scalinglaw？不用懷疑，對中國AI要有自信
今日，媒體紛紛報道一條新聞：百度最早發現大模型核心理論scaling law。其源頭是英文報紙南華早報報道稱，盡管美國在AI模型創新方面一直被視為領先者，但最新的討論顯示，中國在探索這些概念上可能更為超前。業界意識到，百度在OpenAI之前就發現了Scaling Law。
Scaling Law也被稱為“尺度定律”，被業界認為是大模型預訓練第一性原理，即訓練數據和模型參數越大，模型的智能能力就越強。OpenAI在2020年發表了論文《Scaling Laws for Neural LanguageModels》，自那以后，這個概念已成為AI研究的基石。
推出ChatGPT系列大模型，讓OpenAI一鳴驚人，成為AI領域炙手可熱的明星，加之美國Google、Meta、xAI等公司不斷推出性能強大的大模型，使得不少國人潛意識認為美國在AI領域大幅領先。事實上，中國AI技術并不弱，一直以來處于并跑狀態，這也是為何2023年出現“百模大戰”的原因。而“百度率先發現Scaling Law”的往事曝光，反映出中國在AI領域的深厚底蘊。
不用懷疑，已經“實錘”
百度比OpenAI更早發現ScalingLaw，很多國人即歡欣鼓舞，又有一些疑惑。畢竟OpenAI如日中天，對其發起任何挑戰都需要強有力的證據。
從各方報道看，這一事件已經“實錘”。主要有三個方面的佐證：
首先是AI行業大牛、Anthropic創始人Dario Amodei在11月初的播客節目中提到，2014年與吳恩達在百度研究AI的時候，他就已經發現了模型發展的規律Scaling Law。而Dario Amodei曾于2014年11月-2015年10月期間在百度硅谷實驗室工作，并擔任過OpenAI研究副總裁，堪稱當事人，其言論極具分量。
其次是Meta研究員、康奈爾大學博士候選人Jack Morris在X（推特）上公開力挺：“Scaling Law的原始研究來自2017年的百度，而不是2020年的OpenAI”。隨后有媒體人貼出了百度在2017年發表的《DEEP LEARNING SCALING ISPREDICTABLE, EMPIRICALLY》論文，詳細討論了機器翻譯、語言建模等領域的Scaling現象，進一步證明其言論。
此外還有一個重要證據：之前曾在Open AI工作，參與了GPT-3等重要項目開發的AI專家GwernBranwen，也經常在公開場合提起：百度的這篇論文確實被忽視了。
百度在AI理論領域的投入和貢獻可見一斑。此后，百度繼續向前走，并在國內率先推出了大語言模型文心一言。中國互聯網絡信息中心發布的《生成式人工智能發展應用發展報告（2024）》顯示，文心一言已經成為國內使用率第一的生成式人工智能平臺。
百度往事：招攬多位AI大牛
百度能領先于OpenAI發現ScalingLaw，與其早早投資AI研究、招攬AI人才是分不開的，包括來自全球各地的AI大牛。
除了上述提到的Dario Amodei，百度還招攬了國內更知名的AI頂級科學家、原谷歌大腦創始人吳恩達，當年亦引發媒體熱議。
此外據媒體之前爆料，AI教父、2024年度諾貝爾物理學獎得主Geoffrey Hinton，也在百度招攬之列。2012年，李彥宏親自派人前往美國向其遞出了橄欖枝，甚至驚動了硅谷的兩家巨頭Google和微軟紛紛發出邀請。Hinton由于年齡等因素考量，最后留在了美國，百度才遺憾地失之交臂。
盡管外部對百度與Scaling Law的認知才剛剛被爆料，但這也讓業界意識到，百度此前對包括大模型在內的AI技術已有深厚積累。資料顯示，百度早在2019年就發布了第一代文心大模型，幾乎與OpenAI處于同一時期。2023年以來，大模型如雨后春筍般冒出，百度始終處在領跑地位。
例如，中國軟件評測中心《人工智能大語言模型技術發展研究報告（2024年）》顯示，文心大模型技術、產品、應用全面領跑；沙利文《2024年中國大模型能力評測》顯示，文心大模型穩居國產大模型首位，獲4項第一。百度AI技術的10多年積累，在2024年厚積薄發。
中國AI產業展現創新力
實際上，不僅是百度，整個中國AI產業，處在高度繁榮的發展狀態，國內AI頭部公司無論是技術創新、產品創新還是應用創新，與海外頭部公司并沒有明顯的差距，整體處在同一水平線上。
據上海社科院最新發布的《全球信息社會藍皮書：全球信息社會發展報告(2024)》顯示，中國、美國、歐盟在人工智能研究、創新、教育、應用等方面體量相當，人工智能仍然是中國、美國、歐盟三極為主的世界發展格局。
百度作為代表性AI公司之一，更是與Google、OpenAI一道，共同被沙利文2024全球AI全景報告評為“AI-Native Giant”，處于領導者地位。
當前，AI時代已經來臨，展現出變革經濟社會的巨大潛能，AI產業競爭愈加火熱。AI技術已成為大國科技競爭的勝負手，美國不斷使出盤外招限制我國AI技術發展，候任總統特朗普更是計劃任命一位人工智能部長（AI czar），打響AI軍備競賽。
在這一大背景下，國人要對國內AI產業發展抱有信心。在這場長跑中，包括百度在內，有很多中國公司正在高強度投資AI技術創新，并已取得大量成果，將推動AI產業發展走向繁榮，成為經濟高質量轉型發展的助推器。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
