新火種
2024-03-19 
月之暗面Kimi模型升級：200萬字窗口版可申請，新增“繼續(xù)”功能
繼2月以投后約25億美金估值炸場后，楊植麟的大模型公司月之暗面終于有了一次公開對媒體的活動。
雖然楊植麟本人并未露面，但是發(fā)布了更長上下文窗口的版本：
200萬字上下文版本，今天即刻在Kimi上開啟內(nèi)測。
并且在與Kimi對話過程中，加入了（不打斷模型思路的）“繼續(xù)”功能按鈕。
月之暗面工程副總裁許欣然（同時也是Infra負(fù)責(zé)人）在會議室咚、咚、咚把好幾摞厚厚的打印紙重重地放在桌面上，分別是打印出來的《中醫(yī)中醫(yī)內(nèi)科學(xué)》《中醫(yī)診斷學(xué)》、英偉達(dá)2023年年度財報、《甄嬛傳》劇本版。
一摞比一摞厚。
現(xiàn)場放話：“歡迎大家體驗”。
去年10月，月之暗面第一次公開亮相，發(fā)布了20萬字上下文窗口的Kimi模型。
5個月過去——5個月，對AI世界已經(jīng)是非常久的時間了，Kimi主要在3個方面有所提升：
遵循更復(fù)雜的指令更強(qiáng)的信息檢索能力網(wǎng)頁版、Android、iOS、小程序提出“Kimi 10分鐘速成定律”
此次月之暗面最主要的動作，就是將自家模型的上下文窗口提升了一個數(shù)量級。
即從發(fā)布之初的20萬字，拓展到200萬字。
同時據(jù)許欣然透露，5個月過去，相同成本、相同設(shè)備情況下，模型響應(yīng)速度提升了3倍左右。
為了達(dá)到更好的長窗口無損壓縮性能，月之暗面的研發(fā)和技術(shù)團(tuán)隊從模型預(yù)訓(xùn)練到對齊、推理環(huán)節(jié)均進(jìn)行了原生的重新設(shè)計和開發(fā)，不走“滑動窗口”、“降采樣”等技術(shù)捷徑，攻克了很多底層技術(shù)難點(diǎn)。
200萬字上下文窗口，意味著Kimi模型能夠吃下更長的文檔內(nèi)容，完成更長和更復(fù)雜的任務(wù)。
包括但不限于，快速整理N多文件，如從500份簡歷中提取信息：
現(xiàn)場月之暗面還提出了“Kimi 10分鐘速成定律”。
即無關(guān)領(lǐng)域大眾小眾，也無關(guān)資料或多或少，只要把資料一股腦丟給模型，10分鐘內(nèi)，Kimi都能快速入門一個新領(lǐng)域。
比如德州撲克、中醫(yī)內(nèi)科、開（某個特定型號的）飛機(jī)、大模型推理……
現(xiàn)場還演示了Kimi模型挖掘長篇故事情節(jié)中深層次信息的能力。
案例自然是被人類開發(fā)程度不足10%的甄嬛傳（笑死）。
值得注意的是，月之暗面在媒體溝通會現(xiàn)場提出了一個新說法，即大模型們最近的新競速賽道，“大海撈針”功能，恐怕全綠也沒什么太大意義了。
如果大海撈針不行了，有什么新的評測標(biāo)準(zhǔn)能夠檢測模型長文本能力嗎？
“暫時還沒有。”許欣然笑道。
他表示，模型窗口越來越長，評測的緯度變得非常非常多，不過團(tuán)隊已經(jīng)在和學(xué)術(shù)界團(tuán)隊共同探討這個開放性的問題。
期望打造“個人麥肯錫”
從20萬字上下文窗口，迭代為今天開始內(nèi)測的200萬字上下文窗口，具體的模型應(yīng)用場景又有什么新的亮眼之處？會不會只是從“處理50封簡歷”到“處理500封簡歷”的簡單線性外擴(kuò)？
一味拓展大模型上下文窗口的邊界，會不會打造出一把普通人想象中的“皇帝的金鋤頭”？
“實(shí)際上，可能會不斷地出現(xiàn)更多的現(xiàn)實(shí)場景，只有足夠長的context才能完成。”月之暗面表示，在200萬字版本推出后，接下來Kimi模型會在以下幾個方向發(fā)展：
第一，領(lǐng)域?qū)＜摇?/p>
利用長文本能力吃掉一個領(lǐng)域里幾乎所有的相關(guān)資料，使調(diào)研一個行業(yè)成為簡單的事情。
第二，可完成復(fù)雜多步任務(wù)的Agent，月之暗面內(nèi)部稱之為“個人麥肯錫”。
希望模型未來不只是像能處理“幫我翻譯一下這個PDF”這類非常具體的任務(wù)，也能自動完成抽象、復(fù)雜的任務(wù)。
第三，多模態(tài)能力。
Context長了之后，Kimi模型可以容納更多高清的、時間更長的這種視頻，從而讓我們模型很方便地去拓展到更多的模態(tài)。
據(jù)月之暗面聯(lián)合創(chuàng)始人周昕宇現(xiàn)場的答復(fù)，Sora出來以前，月之暗面就在根據(jù)自己的節(jié)奏推進(jìn)多模態(tài)能力的研發(fā)，Sora的出現(xiàn)也并沒有打亂原有的安排。
“預(yù)計今年會推出我們自己的多模態(tài)模型/產(chǎn)品。”
One More Thing
最后，他家大模型還悄么聲地改名了：
Kimi Chat??Kimi智能助手
Moonshot大模型??Kimi大模型
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認(rèn)可。 交易和投資涉及高風(fēng)險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
