新火種
2024-09-20 
中國電信天翼云完成首個國產GPU萬卡訓練！4000億參數大模型領先
9月20日消息，中國電信宣布，天翼云自研的國內首個單集群萬卡國產化全功能預訓練云服務平臺，已經正式發布上線，基于華為昇騰芯片，并完成了萬卡規模Llama3.1-405B大模型訓練。
Llama3.1-405B作為4000億參數規模的大模型，在息壤訓推服務平臺的支持下，經過多輪優化，MFU(算力利用率)達到國內領先水平。
另外，700億參數大模型Llama2-70B在萬卡規模下完成訓練，MFU也處于業界領先水平。
據悉，天翼云的這套平臺具備萬卡納管和并行訓練能力，基于HPFS PB級并行文件系統、CTCCL RDMA高速卡間互聯技術、Gang策略與拓撲感知的智算容器調度，以及慧聚自研分布式訓練框架TeleFormers和平臺，實現萬卡資源納管、萬卡規模并行訓練。
其中，天翼云自研了AI框架Teleformers，對算子、通信、數據處理進行優化，還有并行策略的自適應調整，顯著提升了大模型訓練的訓練效率。
在目前業內最大參數規模開源單體稠密模型Llama3.1-405B大模型訓練測試中，性能表現達到國際同等水平。
算子優化方面，針對昇騰芯片的特性，在網絡結構層面對諸多高頻算子進行了定制化改造，構建了高性能算子集。
比如matmul算子，利用昇騰芯片的計算親和性，將算子輸入padding到特定的維度，大幅提升執行效率，從而明顯縮短了訓練時間。
數據處理和流水線方面，通過設置合理的數據分片策略和HPFS條帶化優化，結合數據預取與數據下沉技術，大幅提升數據流的處理效率和穩定性；對預處理后的數據集進行了二次分片并提供就近緩存能力，減少GPU空閑時間。
自適應并行策略方面，基于對3D并行中各類計算單元的分析，天翼云設計了多種自適應的3D并行策略，依據模型規模和硬件資源的不同可以自動選擇合適的并行策略，充分利用計算資源和顯存資源，縮短模型訓練中每輪的迭代時間。
天翼云國產化萬卡智算中心還有多項技術突破——
天翼云息壤訓練服務平臺基于軟硬件協同設計，提供全鏈路故障監控、基于主動感知的全鏈路故障監控和定位、CheckPoint秒級多級高速存儲系統、容錯優雅調度和模型編譯緩存等系統，將萬卡規模故障發現和解決問題縮短到業內前沿的分鐘級，大幅提升有效訓練時間。
自動斷點續訓系統：
建設豐富的故障庫，基于此構建了多維故障感知系統，能夠快速主動感知相關故障事件和潛在的故障風險；
通過精準的故障隔離和調度手段，快速隔離處理故障節點并重新調度新節點接手任務繼續訓練，實現無人干預式斷點續訓，有效減少GPU閑置時間。
高速多級CheckPoint系統：
天翼云設計基于多級存儲的高速CheckPoint系統，通過兩階段異步存儲，實現高速寫入內存，并最終異步寫入遠端系統；
針對斷點恢復場景，提供進程級故障原地快恢和遠端快速恢復能力，最終實現對CheckPoint的秒級讀寫能力，大幅降低斷點恢復時間、提升訓練效率。
全鏈路檢測工具鏈：
天翼云開發了全鏈路故障監控工具鏈，能夠基于主動感知實現全鏈路的故障監控和定位。
該工具鏈可以主動發現設備故障，并降低訓練中斷的頻次，確保訓練過程的連續性和穩定性。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
