首頁 > AI資訊 > 最新資訊 > 性能超越H100!老黃的勁敵來了一文了解Intel最新Gaudi3AI加速芯片

性能超越H100!老黃的勁敵來了一文了解Intel最新Gaudi3AI加速芯片

新火種    2024-04-12

AI的紛爭越來越激烈,老黃跟蘇媽都相繼推出了自家的AI加速器。不過大家似乎忘記了還有一個芯片巨頭——Intel。

在美國亞利桑那州Intel Vision 2024會議上,Intel發(fā)布性能最強(qiáng)的新一代Gaudi3 AI 加速芯片。當(dāng)然,也包括全新的下一代英特爾至強(qiáng)6處理器等產(chǎn)品。

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

不過,我們今天的重點(diǎn)還是看看這個號稱“超越H100”的Gaudi3 AI 加速芯片。

Intel的Gaudi AI加速芯片已經(jīng)推出了三代了,現(xiàn)有的Gaudi2芯片已經(jīng)是兩年前的產(chǎn)物,在2023年7月才正式引入國內(nèi),不錯的性能與性價比一度成為不少大廠的優(yōu)選。

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

從下圖可以看到,Gaudi2 AI芯片為臺積電7nm工藝制造,集成24個可編程的Tenor張量核心(TPC)、48MB SRAM緩存、21個10萬兆內(nèi)部互連以太網(wǎng)接口(ROCEv2 RDMA)、96GB HBM2E高帶寬內(nèi)存(總帶寬2.4TB/s)、多媒體引擎等,支持PCIe 4.0 x16,最高功耗800W。

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

而全新一代的Gaudi3 AI芯片顯然更勝一籌,專為高性能、高效率的生成式 AI 計(jì)算而生。其采用臺積電5nm工藝打造,每個加速器都具有獨(dú)特的異構(gòu)計(jì)算引擎,由64個AI定制和可編程TPC和8個MME組成,支持128GB HBMe2內(nèi)存以及配備96MB SRAM緩存。

相比上代產(chǎn)品,Intel的 Gaudi 3帶來了4倍的BF16 AI計(jì)算能力提升,1.5 倍的內(nèi)存帶寬以及 2 倍的網(wǎng)絡(luò)帶寬提升。

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

同時,每個Gaudi 3當(dāng)中都集成24個200 Gb以太網(wǎng)端口,提供靈活且開放標(biāo)準(zhǔn)的網(wǎng)絡(luò)。而Gaudi 3 的PCIe 功率為600w,帶寬為每秒 3.7TB。

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

當(dāng)然,AI芯片最重要的還是性能表現(xiàn),在AI模型算力中,相比NVIDIA的H100 GPU,Gaudi3 AI芯片的模型訓(xùn)練速度、推理速度都更出色,分別提升了40%和50%,平均性能提升達(dá)到了50%,能效更是提高了40%,更重要的是,Gaudi3 AI芯片的成本比H100更低,妥妥的性能更強(qiáng),價格更低。

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

即使是面對NVIDIA的H200 GPU,Gaudi 3也毫不遜色。在LLAMA-7B以及LLAMA-70B的部分場景與H200基本是伯仲之間,差距基本在10%以內(nèi)。如果是在Faicon 180B的大模型里,Gaudi 3的推理吞吐量和能效則非常出色,最高甚至可以領(lǐng)先H200 30%以上。

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

性能表現(xiàn)想必已經(jīng)足夠驚艷你了,Intel還為Gaudi 3提供多種靈活的形態(tài),包括OAM兼容夾層卡、通用基板、PCIe擴(kuò)展卡。其中OAM的型號是HL-325L,其實(shí)就是單顆Gaudi 3的性能表現(xiàn),TDP設(shè)定為900W,一般用于風(fēng)冷型服務(wù)器。

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

更高端的HLB-325則包含八顆 Gaudi 3芯片,提供 14.6 PFLOPS FP8 性能,1TB帶寬速率達(dá) 29.6TB/s的HBM2e 內(nèi)存,64個線性計(jì)算引擎,192條200GbE 網(wǎng)絡(luò)總線,9.6TB/s吞吐能力。

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

當(dāng)然,還有更加精致小巧的版本,適合普通用戶選用。PCIe 版本型號為 HL-338,提供單卡 1835 TFLOPS FP8 峰值性能,128GB HBM2e 內(nèi)存,8個線性計(jì)算引擎,24條200GbE網(wǎng)絡(luò)總線,600W TDP,整張卡僅有兩槽寬。

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

硬件夠硬,軟件也要夠軟。軟件生態(tài)方面,Intel也在發(fā)力,Gaudi 3將針對生成式AI提供端到端全棧AI軟件解決方案,包括嵌入式軟件、軟件套件、AI軟件、AI應(yīng)用等。

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

Gaudi 3 AI加速芯片兼具高性能、經(jīng)濟(jì)實(shí)用、節(jié)能、可快速部署等優(yōu)點(diǎn),能夠充分滿足復(fù)雜性、成本效益、碎片化、數(shù)據(jù)可靠性、合規(guī)性等AI應(yīng)用需求。

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

Intel在Vision 2024上也同步介紹了這款芯片的生產(chǎn)節(jié)點(diǎn),計(jì)劃在今年第三季度向客戶發(fā)貨Gaudi 3 AI芯片,包括聯(lián)想、惠普、Dell和Supermicro等OEM廠商都會使用這款新品構(gòu)建系統(tǒng)。

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

隨著Gaudi 3的正式發(fā)布,當(dāng)前AI芯片市場呈現(xiàn)出NVIDIA B200、AMDMI300系列和Intel Gaudi 3三足鼎立的格局。

Intel希望能夠利用長期的 AI 技術(shù)積累,通過開放生態(tài)系統(tǒng)的力量以及出色的Gaudi 3硬件基礎(chǔ),乘上AI的熱潮。

此次的Gaudi 3 AI加速芯片雖然有著出色的性能與極具競爭力的定價,不過AI領(lǐng)域繞不開的還有生態(tài),這方面NVIDIA依舊是遙遙領(lǐng)先與紅藍(lán)兩家,現(xiàn)在AMD與Intel在硬件層面已經(jīng)追上來了,在軟件層面我們也期待它們能夠持續(xù)進(jìn)步,讓AI新技術(shù)普及、普惠到各行各業(yè)。

性能超越H100!老黃的勁敵來了 一文了解Intel最新Gaudi 3 AI加速芯片

Tags:
相關(guān)推薦
免責(zé)聲明
本文所包含的觀點(diǎn)僅代表作者個人看法,不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險,讀者在采取與本文內(nèi)容相關(guān)的任何行動之前,請務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。

熱門文章