新火種
2024-01-07 
SOLAR10.7B大模型屠榜HuggingFace創新性拼接兩個羊駝，高效集成
站長之家12月29日 消息:深度學習領域的新技術近日在HuggingFace的大模型排行榜中嶄露頭角，由Upstage AI提出的深度擴展方法（DUS）在SOLAR10.7B大模型上取得了令人矚目的成績。該技術通過創新性地拼接兩個7B羊駝，并采用DUS方法刪除中間層次，使得新模型不僅超越了傳統擴展方法如MoE，還能與基礎大模型相同的基礎設施高效集成。
在技術實現方面，DUS技術通過巧妙選擇Mistral7B作為底材，實現了對原版和MoE版的超越。團隊深入權衡性能與模型尺寸，在拼接方式上選擇性刪除層次，經過繼續預訓練，模型性能得以迅速恢復。對齊的Instruct版本也在技術實踐中取得了顯著的進展。
為保障數據安全，團隊回應了網友對測試數據泄露的質疑，提供了數據污染測試結果，并顯示出低水平的可能性。而SOLAR10.7B基礎模型和微調模型以Apache2.0協議開源，得到了科研社區的廣泛關注。
在用戶反饋方面，試用者對該技術在從JSON格式數據中提取數據的表現表示滿意。這一實際應用的反饋證明了該技術在處理實際數據時的優越性。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
