新火種
2025-05-17 
訊飛星火之后，螞蟻用國產(chǎn)芯片訓(xùn)練出2900億參數(shù)大模型
3月24日，彭博社援引知情人士消息稱，螞蟻集團已成功利用阿里巴巴、華為等國產(chǎn)芯片，結(jié)合混合專家（MoE）架構(gòu)訓(xùn)練出參數(shù)規(guī)模達(dá)2900億的大模型“Ling-Plus”，其性能與英偉達(dá)H800芯片訓(xùn)練的同類模型相當(dāng)，且訓(xùn)練成本降低20%。這一突破是繼科大訊飛“星火大模型”之后，中國國產(chǎn)算力生態(tài)即將迎來的第二個標(biāo)志性大模型。
據(jù)螞蟻集團Ling團隊發(fā)布的論文，其自研的Ling系列模型通使用國產(chǎn)芯片（如壁仞科技、天數(shù)智芯、寒武紀(jì)等）的低性能設(shè)備，訓(xùn)練1萬億Token的成本從635萬元降至508萬元，降幅達(dá)20%，但模型性能仍可對標(biāo)阿里通義Qwen2.5-72B和DeepSeek-V2.5。
針對外媒（彭博社）關(guān)于螞蟻百靈大模型訓(xùn)練成本的報道，螞蟻方面回應(yīng)觀察者網(wǎng)稱：螞蟻針對不同芯片持續(xù)調(diào)優(yōu)，以降低AI應(yīng)用成本，目前取得了一定的進展，也會逐步通過開源分享。
除了自研性能領(lǐng)先的大模型以外，該技術(shù)論文最大的突破在于提出了一系列創(chuàng)新方法，以提升資源受限環(huán)境下AI開發(fā)的效率與可及性。實驗表明，其3000億參數(shù)的MoE大模型可在使用國產(chǎn)GPU的低性能設(shè)備上完成高效訓(xùn)練，性能與完全使用英偉達(dá)芯片、同規(guī)模的稠密模型及MoE模型相當(dāng)。作為國內(nèi)較早布局AI大模型的廠商，螞蟻自研的百靈大模型2023年已通過備案，重點布局在生活服務(wù)、金融服務(wù)、醫(yī)療健康等場景的應(yīng)用。
在此之前，科大訊飛發(fā)布了首個基于全國產(chǎn)化算力平臺訓(xùn)練的全民開放大模型——訊飛星火V3.5。
本月，科大訊飛與華為聯(lián)合團隊宣布，成功在昇騰國產(chǎn)算力集群上實現(xiàn)MoE模型的大規(guī)模跨節(jié)點專家并行推理。這是繼深度求索（DeepSeek）公開MoE訓(xùn)練方案后，業(yè)界首個完全基于國產(chǎn)算力的解決方案。
通過算子融合、混合并行策略和通信計算并行優(yōu)化等一系列創(chuàng)新，科大訊飛在國產(chǎn)算力上實現(xiàn)了顯著性能提升：單卡靜態(tài)內(nèi)存占用縮減至雙機部署的1/4，效率提升75%，專家計算密度增加4倍，推理吞吐提升3.2倍，端到端時延降低50%。
基于此次科大訊飛攜手華為所做的首個基于國產(chǎn)算力的MoE模型訓(xùn)推方案，科大訊飛稱，這一突破性的解決方案也將應(yīng)用于訊飛星火深度推理模型的訓(xùn)練加速，預(yù)期訓(xùn)練時推理效率將提升200%。同時，基于該方案的推理引擎也實現(xiàn)了國產(chǎn)算力上DeepSeek-V3和R1的高效推理。
科大訊飛“星火”驗證了國產(chǎn)算力的可行性，螞蟻“Ling系列”則進一步證明其規(guī)模化和經(jīng)濟性。隨著阿里、華為等巨頭加碼，中國AI產(chǎn)業(yè)正從“單點突破”轉(zhuǎn)向“生態(tài)協(xié)同”。這場算力平權(quán)運動，或?qū)⒊蔀槿駻I競賽的新變量。
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認(rèn)可。 交易和投資涉及高風(fēng)險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
