迄今最大!馬斯克AI大模型Grok開源:參數量達3140億
3月18日消息,據媒體報道,馬斯克的AI創企xAI正式宣布其大語言模型Grok-1已實現開源,并向公眾開放下載。
據了解,Grok-1是一款基于混合專家系統(Mixture-of-Experts,MoE)技術構建的大語言模型,擁有3140億參數,遠超OpenAI GPT-3.5的1750億。這是迄今參數量最大的開源大語言模型,遵照Apache 2.0協議開放模型權重和架構。
xAI表示,Grok-1始終由xAI自行訓練,其預訓練階段于2023年10月完成。此次發布的是Grok-1預訓練階段結束時的原始基礎模型檢查點,即該模型未經過針對任何具體應用的微調。
xAI的目的之一就是與OpenAI、谷歌、微軟等對手在大模型領域進行競爭,其團隊來自OpenAI、谷歌DeepMind、谷歌研究院、微軟研究院等諸多知名企業和研究機構。
目前,xAI并沒有放出Grok-1的具體測試成績,它與其他公司的大模型之戰將成為業內關注的焦點。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。