月之暗面kimi聯合清華大學等開源大模型推理架構mooncake-品玩
品玩11月28日訊,據 Kimi 開發平臺官方消息,開源項目 Mooncake 技術框架已正式開源上線。
據悉,Mooncake 由之暗面 Kimi 和清華大學 MADSys 實驗室聯合 9#AISoft、阿里云、華為存儲、面壁智能、趨境科技等產學研力量共同發布。該項目以超大規模 KVCache 緩存池為中心,通過以存換算的創新理念大幅度減少算力開銷,顯著提升了推理吞吐量。
本次開源將采用分階段的方式,逐步開源高性能 KVCache 多級緩存 Mooncake Store 的實現,同時針對各類推理引擎和底層存儲/傳輸資源進行兼容。其中傳輸引擎 Transfer Engine 部分現在已經在 GitHub 全球開源。Mooncake 開源項目的最終目標是,為大模型時代打造一種新型高性能內存語義存儲的標準接口,并提供參考實現方案。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。