新火種
2024-10-20 
有望改寫AI未來！NVIDIA全新nGPT使訓(xùn)練速度暴增20倍
10月20日消息，據(jù)媒體報(bào)道，NVIDIA的最新研究可能徹底改變AI的未來，其研究團(tuán)隊(duì)提出了一種名為歸一化Transformer（nGPT）的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)。
這一架構(gòu)在超球面（hypersphere）上進(jìn)行表示學(xué)習(xí)，能夠顯著提升大型語言模型（LLM）的訓(xùn)練速度，最高可達(dá)20倍，同時(shí)保持了模型的精度。
nGPT架構(gòu)的核心在于將所有向量，包括嵌入、多層感知機(jī)（MLP）、注意力矩陣和隱藏狀態(tài)，歸一化為單位范數(shù)。
這種歸一化處理使得輸入的token在超球面表面上移動(dòng)，每一層模型都通過位移來貢獻(xiàn)最終的輸出預(yù)測(cè)。
實(shí)驗(yàn)結(jié)果表明，nGPT在訓(xùn)練時(shí)所需的步驟比標(biāo)準(zhǔn)Transformer模型減少了4到20倍，具體加速效果取決于序列長(zhǎng)度。
例如，在1k上下文中，訓(xùn)練速度提高了4倍；在4k上下文中，提高了10倍；而在8k上下文中，更是提高了20倍。
研究人員指出，nGPT的優(yōu)化路徑從超球面上的點(diǎn)開始，通過位移來貢獻(xiàn)最終的輸出預(yù)測(cè)，其中位移量由MLP和注意力模塊定義。
這種方法不僅提高了訓(xùn)練速度，還增強(qiáng)了模型的穩(wěn)定性。
Tags:
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前，請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
