首頁 > AI資訊 > 最新資訊 > 摩爾線程國產GPU重大里程碑!千卡集群完成30億參數大模型實訓

摩爾線程國產GPU重大里程碑!千卡集群完成30億參數大模型實訓

新火種    2024-05-28

5月27日消息,摩爾線程、無問芯穹聯合宣布,雙方已經正式完成MT-infini-3B 3B(30億參數)規模大模型的實訓,基于摩爾線程國產全功能GPU MTT S4000組成的千卡集群,以及無問芯穹的AIStudio PaaS平臺。

本次實訓充分驗證了夸娥千卡智算集群在大模型訓練場景下的可靠性,同時也在行業內率先開啟了國產大語言模型與國產GPU千卡智算集群深度合作的新范式。

據悉,這次的MT-infini-3B模型訓練總共用時13.2天,全程穩定無中斷,集群訓練穩定性達到100%,千卡訓練和單機相比擴展效率超過90%。

目前,實訓出來的MT-infini-3B性能在同規模模型中躋身前列,相比在國際主流硬件上(尤其是NVIDIA)訓練而成的其他模型,在C-Eval、MMLU、CMMLU等3個測試集上均實現性能領先。

可替代NVIDIA!摩爾線程GPU千卡集群完成30億參數大模型實訓

無問芯穹正在打造“M種模型”和“N種芯片”之間的“M x N”中間層產品,實現多種大模型算法在多元芯片上的高效、統一部署,已與摩爾線程達成深度戰略合作。

摩爾線程是第一家接入無問芯穹并進行千卡級別大模型訓練的國產GPU公司,夸娥千卡集群已與無穹Infini-AI順利完成系統級融合適配,完成LLama2 700億參數大模型的訓練測試。

T-infini-3B的訓練,則是行業內首次實現基于國產GPU芯片從0到1的端到端大模型實訓案例。

可替代NVIDIA!摩爾線程GPU千卡集群完成30億參數大模型實訓

就在日前,基于摩爾線程的夸娥千卡集群,憨猴集團也成功完成了7B、34B、70B不同參數量級的大模型分布式訓練,雙方還達成戰略合作。

經雙方共同嚴苛測試,兼容適配程度高,訓練效率達到預期,精度符合要求,整個訓練過程持續穩定。

可替代NVIDIA!摩爾線程GPU千卡集群完成30億參數大模型實訓

相關推薦
免責聲明
本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。

熱門文章