廣州日報
2024-11-21 
年度世界互聯(lián)網(wǎng)科技大獎公布自研Angel機器學(xué)習(xí)平臺應(yīng)對模型訓(xùn)練與推理挑戰(zhàn)
11月19日，2024年世界互聯(lián)網(wǎng)大會領(lǐng)先科技獎在烏鎮(zhèn)發(fā)布，本年度共有20個具有國際代表性的項目獲獎，整體入選率僅為7.4%，涵蓋類腦計算、具身智能、6G、大數(shù)據(jù)、高性能芯片、AI機器學(xué)習(xí)平臺等前沿領(lǐng)域。據(jù)了解，騰訊Angel機器學(xué)習(xí)平臺獲得本年度領(lǐng)先科技獎。
現(xiàn)場，騰訊公司副總裁蔣杰表示，在大模型時代，模型參數(shù)超過萬億，訓(xùn)練數(shù)據(jù)超過十萬億，如此龐大的規(guī)模，給模型訓(xùn)練和推理帶來巨大挑戰(zhàn)，騰訊全鏈路自研的Angel機器學(xué)習(xí)平臺有效應(yīng)對這些挑戰(zhàn)，實現(xiàn)多個方面的性能效率提升。未來，騰訊也將繼續(xù)投入底層技術(shù)自主研發(fā)，并通過開源共享，推動技術(shù)創(chuàng)新升級，讓智能技術(shù)走入千行百業(yè)。
(騰訊公司副總裁蔣杰)
記者了解到，騰訊Angel機器學(xué)習(xí)平臺針對萬億規(guī)模大模型分布式訓(xùn)練和推理、應(yīng)用部署難的挑戰(zhàn)，在網(wǎng)絡(luò)互聯(lián)、框架效率、平臺規(guī)模三方面實現(xiàn)了突破。在通信方面，從網(wǎng)卡到交換機，再到路由協(xié)議，騰訊自研的RDMA網(wǎng)絡(luò)實現(xiàn)了集群高速互聯(lián)，單節(jié)點帶寬達(dá)到3.2T，相比于同類領(lǐng)先產(chǎn)品，性能提升30%，成本降低70%。
在效率方面，自研了訓(xùn)練/推理框架，提出顯存加主存的一體化機制，實現(xiàn)多維并行和算子優(yōu)化，相比開源框架，訓(xùn)練性能提升2.6倍，推理速度提升2.3倍。在規(guī)模方面， 實現(xiàn)了單任務(wù)萬卡的線性擴展，GPU集群加速比從50%提升到99%。
騰訊基于Angel機器學(xué)習(xí)平臺全鏈路自研的混元大模型，在我國頭部AI研發(fā)企業(yè)中率先采用混合專家模型 (MoE)結(jié)構(gòu)，模型規(guī)模突破萬億，處于國內(nèi)大模型“第一梯隊”。11月初，騰訊推出業(yè)界最大參數(shù)規(guī)模的開源MoE模型混元Large，總參數(shù)量 389B，激活參數(shù)量52B ，上下文長度高達(dá)256K，其訓(xùn)練和推理均基于騰訊Angel機器學(xué)習(xí)平臺。
（文章來源：廣州日報）
Tags:
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認(rèn)可。 交易和投資涉及高風(fēng)險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
