首頁 > AI資訊 > 最新資訊 > MiniMax談大模型生存戰(zhàn)

MiniMax談大模型生存戰(zhàn)

黃昱    2024-12-09

作者 | 黃昱

編輯 | 劉寶丹

經(jīng)去兩年的火熱發(fā)展,AI大模型進(jìn)入淘汰賽階段,悲觀情緒不斷蔓延。當(dāng)“只有少數(shù)玩家能拿到下半場(chǎng)競賽的門票”成為行業(yè)共識(shí),AI大模型創(chuàng)業(yè)玩家的未來充滿了未知數(shù)。

近日,MiniMax副總裁劉華和騰訊云北區(qū)云原生總經(jīng)理田豐現(xiàn)身一場(chǎng)媒體交流會(huì),共話大模型的未來發(fā)展。

就未來行業(yè)格局的發(fā)展問題,劉華對(duì)表示,考慮到算力、研發(fā)團(tuán)隊(duì)、資金等方面的實(shí)力,能做下一代模型研發(fā)的企業(yè)不會(huì)特別多,最終基礎(chǔ)大模型的賽道還是會(huì)局限在個(gè)位數(shù)的企業(yè),更多企業(yè)會(huì)轉(zhuǎn)去做AI應(yīng)用,但相信優(yōu)秀的大廠、優(yōu)秀的創(chuàng)業(yè)公司會(huì)有機(jī)會(huì)留下來。

與此同時(shí),劉華強(qiáng)調(diào),MiniMax還是會(huì)堅(jiān)持做一家技術(shù)驅(qū)動(dòng)的公司,在把基礎(chǔ)多模態(tài)大模型做好的同時(shí),繼續(xù)做toB、toC的業(yè)務(wù),“因?yàn)槲覀冞€是相信用戶的反饋是最好的幫助我們提升模型的方向。”

市場(chǎng)中唱衰大模型創(chuàng)業(yè)公司的聲音其實(shí)不少。金沙江創(chuàng)投主管合伙人朱嘯虎曾表態(tài),“六小虎”最好的歸宿,將會(huì)是被大廠并購。

不過,在劉華看來,國內(nèi)大廠做大模型肯定有很多優(yōu)勢(shì),但作為創(chuàng)業(yè)公司,MiniMax也得到了一些大廠的支持,比如說騰訊。此外,MiniMax也有一些成功的商業(yè)化。

大廠支持+成功的商業(yè)化路徑,劉華認(rèn)為,像這樣的創(chuàng)業(yè)公司能夠留在賽道上繼續(xù)迭代研發(fā)模型,這個(gè)可能性還是很大的。

作為“AI六小虎”中低調(diào)的存在, MiniMax的商業(yè)化發(fā)展似乎是相對(duì)順利的。

今年8月份下旬,發(fā)布最新的視頻模型時(shí),MiniMax國際業(yè)務(wù)總經(jīng)理盛靜遠(yuǎn)曾表示,MiniMax現(xiàn)在是所有中國大模型公司里面,少數(shù)幾個(gè)能講商業(yè)化變現(xiàn),能講產(chǎn)品跟模型驅(qū)動(dòng),甚至很有可能能在比較短的時(shí)間內(nèi)實(shí)現(xiàn)自負(fù)盈虧及盈利的公司。

她進(jìn)一步指出,“最核心的還是技術(shù)突破,產(chǎn)品是技術(shù)突破的體現(xiàn),這個(gè)產(chǎn)品能夠最終實(shí)現(xiàn)商業(yè)化,來反哺到后續(xù)的技術(shù)投入,這是公司真正轉(zhuǎn)起來的標(biāo)志,可能我們現(xiàn)在在半山腰的狀態(tài),如果做得比較成功,很快就能達(dá)到一個(gè)正向的循環(huán)。”

值得一提的是,關(guān)于大模型技術(shù)迭代放緩、Scaling Law 撞墻的討論如今越來越多。

不過,劉華指出,沒有感受到Scaling Law在放緩,而且今年會(huì)發(fā)現(xiàn)不僅是有訓(xùn)練的Scaling Law,推理階段也存在Scaling Law。其實(shí)對(duì)于MiniMax來講,2024年依然是大模型飛速發(fā)展的一年。

大模型公司對(duì)技術(shù)、方向的判斷尤為重要,這決定了其未來發(fā)展的上限。MiniMax在大模型研發(fā)方面,有三個(gè)明確的方向,包括降低模型錯(cuò)誤率、實(shí)現(xiàn)無限長的輸入和輸出、多模態(tài)路線發(fā)展。

劉華指出,在模型錯(cuò)誤率方面,上一代的GPT系列模型錯(cuò)誤率約30%,這導(dǎo)致GPT在一些嚴(yán)肅的生產(chǎn)場(chǎng)合沒法適用。如果說大模型要進(jìn)入嚴(yán)肅的生產(chǎn)、研發(fā)、科研、設(shè)計(jì),那它的錯(cuò)誤率肯定要降低,最好能降低到2%-3%最好。

其次,大模型任務(wù)逐步從文本擴(kuò)展到語音、視頻,所需的Token量也在迅猛增加,因此,MiniMax必須要確保大模型以一個(gè)高效的方式處理更大規(guī)模的輸入和輸出。

據(jù)悉, MiniMax最新研發(fā)的Abab 7系列模型基于 MoE和Linear Attention(線性注意力)機(jī)制的新架構(gòu),可顯著降低長文本的計(jì)算復(fù)雜度,實(shí)用性和響應(yīng)速度極大提升,大幅減少了大模型的訓(xùn)練和推理成本。

大模型的快速迭代,也離不開提供算力、存儲(chǔ)、大數(shù)據(jù)等基礎(chǔ)設(shè)施的云服務(wù)廠商的支持。據(jù)悉,自從 MiniMax 成立以來,就與騰訊云建立了合作關(guān)系。

經(jīng)過過去幾年的發(fā)展,大模型公司對(duì)云服務(wù)廠商的需求也發(fā)生了變化。

劉華對(duì)指出,剛開始,MiniMax對(duì)云廠商的需求可能就是模型的訓(xùn)練,隨著模型的能力不斷提升,會(huì)出現(xiàn)通過公有云去做業(yè)務(wù)的需要。

站在云服務(wù)廠商的視角,騰訊云北區(qū)云原生總經(jīng)理田豐也分享了這兩三年來對(duì)客戶需求變化的觀察。

田豐指出,像MiniMax這樣的大模型公司客戶早早期的需求是聚焦在算力、大數(shù)據(jù)處理,現(xiàn)在對(duì)數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)庫、大數(shù)據(jù)、安全等都有了新的需求。隨著業(yè)務(wù)發(fā)展,訓(xùn)練集群、推理集群的規(guī)模都在快速擴(kuò)大。

“這個(gè)規(guī)模對(duì)我們的組網(wǎng)的能力、集群的運(yùn)維,都是一個(gè)非常大的、全新的挑戰(zhàn),跟原來完全是不一樣的”。 田豐介紹,騰訊云為MiniMax 提供了一系列集計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)為一體的高性能智算產(chǎn)品,讓 MiniMax釋放更多的精力聚焦在模型本身的訓(xùn)練和工程化上。

據(jù)悉,騰訊云高性能計(jì)算集群通過一系統(tǒng)化的運(yùn)維機(jī)制,可做到網(wǎng)絡(luò)故障一分鐘內(nèi)發(fā)現(xiàn)問題,三分鐘內(nèi)定位問題,最快五分鐘恢復(fù)系統(tǒng)。其千卡集群的日故障數(shù)已刷新至 0.16,是行業(yè)平均水平的三分之一。

同時(shí),騰訊云COS對(duì)象存儲(chǔ)的元數(shù)據(jù)加速方案來保障性能,多種精細(xì)化管理措施進(jìn)行數(shù)據(jù)治理。DLC數(shù)據(jù)湖產(chǎn)品也針對(duì)語料數(shù)據(jù)預(yù)處理進(jìn)行了專項(xiàng)優(yōu)化來提升任務(wù)處理性能,幫助MiniMax節(jié)約算力 30%以上,性能提升 35.5%以上。

“AI大模型是長跑,投資人和創(chuàng)業(yè)者都需要有信心和耐心,炫酷的技術(shù)最終還是要落實(shí)到商業(yè)化本身,要盈利去賺錢”。 田豐說道。

這場(chǎng)大模型競賽面臨的挑戰(zhàn)越來越大,要想成為最后的贏家之一,所有參與者都必須找準(zhǔn)方向,然后全力以赴。

Tags:
相關(guān)推薦
免責(zé)聲明
本文所包含的觀點(diǎn)僅代表作者個(gè)人看法,不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn),讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前,請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。

熱門文章