新火種
2024-11-29 
剛剛，Kimi開源底層推理框架，1小時(shí)GitHub攬星1.2k
什么？Kimi底層推理架構(gòu)剛剛宣布：開！源！了！
你沒聽錯(cuò)，就是那個(gè)承載了Kimi線上80%以上流量的架構(gòu)。
大約幾小時(shí)前，月之暗面Kimi聯(lián)合清華大學(xué)等機(jī)構(gòu)，開源了大模型推理架構(gòu)Mooncake。
根據(jù)官方介紹，本次開源將采用分階段的方式：
可以看到，Mooncake一經(jīng)開源，已在GitHub狂攬1.2k star。
其最終開源目標(biāo)是，為大模型時(shí)代打造一種新型高性能內(nèi)存語義存儲(chǔ)的標(biāo)準(zhǔn)接口，并提供參考實(shí)現(xiàn)方案。
月之暗面Kimi工程副總裁許欣然表示：
實(shí)際上，這個(gè)項(xiàng)目早在今年6月就已啟動(dòng)，當(dāng)時(shí)已受到業(yè)內(nèi)廣泛關(guān)注——
大模型推理架構(gòu)Mooncake今年6月，月之暗面和清華大學(xué)MADSys實(shí)驗(yàn)室聯(lián)合發(fā)布了Kimi底層的Mooncake推理系統(tǒng)設(shè)計(jì)方案。
在這篇名為《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》的論文中，作者詳細(xì)介紹了Mooncake這種系統(tǒng)架構(gòu)。
具體而言，Mooncake采用以KVCache為中心的解耦架構(gòu)，將預(yù)填充集群與解碼集群分離，并充分利用GPU集群中未充分利用的CPU、DRAM和SSD資源，實(shí)現(xiàn)KVCache的解耦緩存。
其核心在于以KVCache為中心的調(diào)度程序：
當(dāng)面對(duì)流量高峰期時(shí)，Mooncake通過早期拒絕策略和預(yù)測(cè)未來負(fù)載的方法，來處理超載問題。
早期拒絕策略（Early Rejection Policy）簡(jiǎn)單說，其核心思想是在請(qǐng)求實(shí)際開始處理之前，根據(jù)當(dāng)前系統(tǒng)的負(fù)載情況預(yù)測(cè)是否有足夠的資源來處理新的請(qǐng)求。
如果預(yù)測(cè)結(jié)果表明系統(tǒng)資源不足以保證請(qǐng)求的及時(shí)處理，系統(tǒng)就會(huì)在請(qǐng)求到達(dá)之前予以拒絕，從而避免了無效的資源占用和不必要的延遲。
預(yù)測(cè)未來負(fù)載（Predicting Future Load）在Mooncake中，系統(tǒng)需要能夠預(yù)測(cè)在未來一段時(shí)間內(nèi)的負(fù)載情況，以便做出更準(zhǔn)確的接受或拒絕請(qǐng)求的決策。
如何實(shí)現(xiàn)呢？？
通常來說，這種預(yù)測(cè)會(huì)基于當(dāng)前的請(qǐng)求模式、系統(tǒng)的資源使用情況以及歷史數(shù)據(jù)等信息。
再通過對(duì)信息的進(jìn)一步分析建模，Mooncake就能夠估計(jì)接下來的請(qǐng)求處理需求，并據(jù)此調(diào)整其調(diào)度策略。
論文實(shí)驗(yàn)結(jié)果顯示，與基線方法相比，Mooncake在某些模擬場(chǎng)景中可以實(shí)現(xiàn)高達(dá)525%的吞吐量提升，同時(shí)遵守SLO（與延遲相關(guān)的服務(wù)級(jí)別目標(biāo))。
在實(shí)際工作負(fù)載下，Mooncake使Kimi能夠處理75%以上的請(qǐng)求。
而且據(jù)許欣然在其他場(chǎng)合透露：
而現(xiàn)在，為了進(jìn)一步加速該技術(shù)框架的應(yīng)用與推廣，Kimi聯(lián)合清華大學(xué)等機(jī)構(gòu)共同發(fā)布開源項(xiàng)目Mooncake。
參與開源的首批陣容包括：
可以說，云計(jì)算、存儲(chǔ)、AI模型玩家等產(chǎn)學(xué)研力量都聚齊了。
據(jù)悉，Mooncake開源項(xiàng)目從論文延伸，以超大規(guī)模KVCache緩存池為中心，通過以存換算的創(chuàng)新理念大幅度減少算力開銷，顯著提升了推理吞吐量。
目前Mooncake技術(shù)框架已正式開源上線，官方還表示：
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前，請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
