新火種
2024-04-07 
10萬美元訓出Llama-2級大模型！全華人打造新型MoE，賈揚清SD前CEO圍觀
“只需”10萬美元，訓練Llama-2級別的大模型。
尺寸更小但性能不減的MoE模型來了：
它叫JetMoE，來自MIT、普林斯頓等研究機構。
性能妥妥超過同等規模的Llama-2。
△賈揚清轉發
要知道，后者可是數十億美元級別的投入成本。
JetMoE發布即完全開源，且學術界友好：僅使用公開數據集和開源代碼，用消費級GPU就能進行微調。
不得說，大模型的打造成本，真的比人們想的要便宜更多了。
Ps. Stable Diffusion前老板Emad也點了贊：
10萬美刀實現Llama-2性能
JetMoE啟發于ModuleFormer的稀疏激活架構。
（ModuleFormer，一種基于稀疏專家混合(SMoE)的模塊化架構，可提高大模型效率和靈活性，去年6月提出）
它的注意力層中仍然使用了MoE：
80億參數的JetMoE一共有24個區塊，每塊包含2個MoE層，分別是注意力頭混合 (MoA) 和MLP專家混合 (MoE）。
每個MoA和MoE層又有8個專家，每次輸入token激活2個。
JetMoE-8B使用公開數據集中的1.25T token進行訓練，學習率5.0 x 10-4，全局batch size為4M token。
具體訓練方案遵循MiniCPM（來自面壁智能，2B模型就能趕超Mistral-7B）的思路，共包含兩階段：
第一階段使用線性預熱的恒定學習率，用來自大規模開源預訓練數據集的1萬億個token進行訓練，這些數據集包括RefinedWeb、Pile、Github data等等。
第二階段則使用指數學習率衰減，用2500億個token訓練來自第一階段數據集和超高質量開源數據集的token。
最終，團隊使用96×H100的GPU集群，花費2周時間、約8萬美元搞定JetMoE-8B。
更多技術細節將在不久后發布的技術報告上揭露。
而在推理過程中，由于JetMoE-8B僅具有22億個激活參數，因此計算成本大大降低——
同時，它還收獲了不錯的性能表現。
如下圖所示：
JetMoE-8B在8個評測基準上獲得了5個sota（包括大模型競技場Open LLM Leaderboard），超過LLaMA-13B、LLaMA2-7B和DeepseekMoE-16B。
在MT-Bench基準上得分6.681，也超過了130億參數的LLaMA2、Vicuna等模型。
作者介紹
JetMoE一共4位作者，分別是：
Yikang Shen
MIT-IBM Watson Lab研究員，研究方向NLP。
本碩畢業于北航，博士經歷于Yoshua Bengio創辦的Mila研究機構。
國振 (Gavin Guo)
MIT博士在讀， 研究方向為3D成像的數據高效機器學習。
UC伯克利本科畢業，去年夏天作為學生研究員加入MIT-IBM Watson Lab，導師為Yikang Shen等人。
蔡天樂
普林斯頓博士在讀生，本科畢業于北大應用數學和計算機科學，目前也是Together.ai 的兼職研究員，與Tri Dao合作。
Zengyi Qin
MIT博士在讀，同時在創業，MyShell的AI研發主管。
這家公司剛剛融資了1100萬美元，投資者包括Transformer的作者。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
