首頁 > AI資訊 > 最新資訊 > 芯片戰(zhàn)場(chǎng)丨瞄準(zhǔn)大模型摩爾線程首個(gè)千卡智算中心落地

芯片戰(zhàn)場(chǎng)丨瞄準(zhǔn)大模型摩爾線程首個(gè)千卡智算中心落地

21世紀(jì)經(jīng)濟(jì)報(bào)道    2023-12-20

  為滿足大模型的“暴力”計(jì)算需求，國內(nèi)GPU企業(yè)正加碼算力基礎(chǔ)設(shè)施建設(shè)。

  12月19日，摩爾線程首個(gè)全國產(chǎn)千卡千億模型訓(xùn)練平臺(tái)——摩爾線程KUAE智算中心落地。據(jù)其介紹，這是國內(nèi)首個(gè)以國產(chǎn)全功能GPU為底座的大規(guī)模算力集群。

  同時(shí)，摩爾線程CEO張建中在當(dāng)天發(fā)布了大模型智算加速卡MTT S4000，以及專為千億參數(shù)大模型訓(xùn)練和推理提供支持的摩爾線程KUAE平臺(tái)。

  近年在AI熱潮之下，國內(nèi)的智算中心不斷興建。根據(jù)此前國家信息中心聯(lián)合浪潮信息發(fā)布的《智能計(jì)算中心創(chuàng)新發(fā)展指南》統(tǒng)計(jì)，目前全國超過30個(gè)城市在建或籌建智算中心，預(yù)計(jì)“十四五”期間，在智算中心實(shí)現(xiàn)80%應(yīng)用水平的情況下，城市對(duì)智算中心的投資可帶動(dòng)人工智能核心產(chǎn)業(yè)增長(zhǎng)2.9至3.4倍，帶動(dòng)相關(guān)產(chǎn)業(yè)增長(zhǎng)36至42倍。

  而智算中心底座離不開GPU、CPU等芯片，大模型時(shí)代，以GPU為代表的智能算力更是基石。此次摩爾線程KUAE智算中心正是基于其GPU產(chǎn)品來構(gòu)建算力集群，其中就包括了最新發(fā)布的MTT S4000。

  據(jù)摩爾線程介紹，MTT S4000采用第三代MUSA內(nèi)核，單卡支持48GB顯存和768GB/s的顯存帶寬。基于摩爾線程自研MTLink1.0技術(shù)，MTT S4000可以支持多卡互聯(lián)，加速分布式計(jì)算。同時(shí)，通過摩爾線程自研MUSIFY開發(fā)工具，MTT S4000計(jì)算卡可以利用現(xiàn)有CUDA軟件生態(tài)，實(shí)現(xiàn)CUDA代碼零成本遷移到MUSA平臺(tái)。

  CUDA為英偉達(dá)的計(jì)算平臺(tái)，也是生態(tài)壁壘。可以說，CUDA是英偉達(dá)建立的并行運(yùn)算的一整套軟硬件生態(tài)標(biāo)準(zhǔn)，幾乎所有GPU、AI芯片都兼容CUDA平臺(tái)。多年來，國內(nèi)的GPU企業(yè)也在建設(shè)自己的運(yùn)算平臺(tái)和生態(tài)。

  再看基于GPU的智算中心，此次摩爾線程KUAE智算中心解決方案是專為大模型而造，包括以KUAE計(jì)算集群為核心的基礎(chǔ)設(shè)施、KUAE Platform集群管理平臺(tái)以及KUAE ModelStudio模型服務(wù)。

  目前，摩爾線程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各類主流大模型的訓(xùn)練和微調(diào)。摩爾線程表示，基于摩爾線程KUAE千卡集群，70B到130B參數(shù)的大模型訓(xùn)練，線性加速比均可達(dá)到91%，算力利用率基本保持不變。以2000億訓(xùn)練數(shù)據(jù)量為例，智源研究院700億參數(shù)Aquila2可在33天完成訓(xùn)練；1300億參數(shù)規(guī)模的模型可在56天完成訓(xùn)練。此外，摩爾線程KUAE千卡集群支持長(zhǎng)時(shí)間連續(xù)穩(wěn)定運(yùn)行，支持?jǐn)帱c(diǎn)續(xù)訓(xùn)，異步Checkpoint少于2分鐘。

  在業(yè)內(nèi)人士看來，智算中心不斷建成后，更重要的是要讓算力有效地流動(dòng)到應(yīng)用中、更好地支持大模型服務(wù)千行百業(yè)。而生態(tài)是關(guān)鍵一環(huán)，為此，摩爾線程聯(lián)合國內(nèi)產(chǎn)業(yè)鏈成立了摩爾線程PES -KUAE智算聯(lián)盟和摩爾線程PES-大模型生態(tài)聯(lián)盟，加速國內(nèi)大模型產(chǎn)業(yè)發(fā)展。

  業(yè)內(nèi)的共識(shí)是，智算中心不應(yīng)只是硬件的堆積，更是對(duì)軟硬一體化的GPU智算系統(tǒng)整合能力的考驗(yàn)，GPU分布式計(jì)算系統(tǒng)的適配、算力集群的管理和高效推理引擎的應(yīng)用等，都是提高算力中心可用性的重要因素。而國產(chǎn)智算中心的發(fā)展，更是依托于將各方需求和優(yōu)勢(shì)充分融合，產(chǎn)業(yè)聚力才能實(shí)現(xiàn)整個(gè)生態(tài)的協(xié)同。

（文章來源：21世紀(jì)經(jīng)濟(jì)報(bào)道）

相關(guān)推薦
免責(zé)聲明
本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前，請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。

熱門文章