新火種
2024-11-29 
官宣開源阿里云與清華大學共建AI大模型推理項目Mooncake
2024年6月，國內優質大模型應用月之暗面Kimi與清華大學MADSys實驗室（Machine Learning, AI, Big Data Systems Lab）聯合發布了以 KVCache 為中心的大模型推理架構 Mooncake。通過使用以 KVCache 為中心的 PD 分離和以存換算架構，大幅提升大模型應用Kimi智能助手推理吞吐的同時有效降低了推理成本，自發布以來受到業界廣泛關注。近日，清華大學和研究組織9#AISoft，聯合以阿里云為代表的多家企業和研究機構，正式開源大模型資源池化項目 Mooncake。希望更多的廠商與開發者共建高性能推理框架底層基礎設施的開源生態。
Mooncake架構圖
基于和清華大學之間的創新研究計劃（AIR）項目，阿里云和清華大學共同探討如何在實際工業界應用大模型資源池化技術，并做出了諸多技術成果積累。其中，為了加速大模型推理技術的發展，特別是推理實例共享的緩存池化層的標準化，阿里云與清華大學深度共建 Mooncake 項目，結合主流大模型推理框架，抽象緩存池化層的底層接口，實現高效分布式資源解耦架構。針對大模型場景進行深度優化，幫助提升大模型超長上下文的推理性能。
作為AI基礎設施服務商，阿里云在 Mooncake 項目中，向傳輸引擎（Transfer Engine）、點對點存儲（P2P Store）和高性能內存存儲等關鍵組件貢獻了代碼。在推理框架層面，完成了與廣泛使用的大模型推理框架 vLLM 的適配，大幅提升了推理性能，并為其他大模型推理框架的對接適配提供了參考實現，推動了大模型資源池化技術在業界的落地。在Transfer Engine層面，提供阿里云自研eRDMA網絡的底層傳輸路徑，并計劃提供對于CXL的支持，保證用戶能夠在云上快速規模化部署。
清華大學MADSys實驗室章明星教授表示，通過 Mooncake 可以充分利用AI Infra中的CPU、內存和SSD資源，提升推理請求的處理速度，借助資源解耦架構來使能不同推理實例間的緩存共享，減少資源浪費。此次聯合阿里云一起將 Mooncake 項目開源，希望能夠協同產學研力量共建開源社區，推動當下大模型推理系統的快速發展。
未來，阿里云會更深層次的參與 Mooncake 項目的共建，攜手更多企業、機構、高校力量，持續探索更加高效和先進的模型推理系統架構創新，讓大模型技術真正惠及千行百業。
Mooncake項目開源地址：
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
