中國經(jīng)營網(wǎng)
2023-12-19 
原生訓(xùn)練大模型重要性凸顯中科聞歌競逐AI萬億級賽道
12月15日，中國科學(xué)院旗下人工智能企業(yè)中科聞歌推出全自主知識產(chǎn)權(quán)的雅意2.0國產(chǎn)大模型（以下簡稱“雅意2.0”），并發(fā)布開源技術(shù)報告。
據(jù)中科聞歌CEO羅引介紹，雅意1.0 大模型于今年6月3日推出，6 個月后推出的 2.0版本，在模型訓(xùn)練、特色技能、領(lǐng)域應(yīng)用、測評指標(biāo)四個方面都有很多突破。首先在模型訓(xùn)練方面，雅意 2.0 實現(xiàn)了從70億參數(shù)量邁向300億參數(shù)量的模型；在訓(xùn)練數(shù)據(jù)集方面，從200多T豐富的多元數(shù)據(jù)中萃取出10T左右，一共2.65萬億Tokens的高質(zhì)量訓(xùn)練數(shù)據(jù)集，來滿足模型訓(xùn)練。
《中國經(jīng)營報》記者了解到，雅意大模型是一個企業(yè)級通用大模型，此前已為政府、中央級媒體、研究機構(gòu)等多家單位，提供垂直領(lǐng)域?qū)I(yè)模型服務(wù)。雅意2.0發(fā)布后，基于雅意2.0中科聞歌面向安全、媒體、金融、輿情、法律、中醫(yī)等領(lǐng)域構(gòu)建了多個行業(yè)大模型應(yīng)用。
中科聞歌董事長王磊表示：“如今，在國內(nèi)大模型也是百花齊放，然而真正原生的國產(chǎn)化的AI大模型卻寥寥可數(shù)，人力、人才、算力、算法、數(shù)據(jù)仍與國際先進水平存在較大差距，國內(nèi)的AI產(chǎn)業(yè)仍處于早期的發(fā)展階段?！?/p>
從目前的大模型領(lǐng)域來看，市場上已經(jīng)有了ChatGPT、LLAM等大模型，但王磊認(rèn)為，國內(nèi)仍需要做自己的原生訓(xùn)練大模型，主要是三個方面的答案：第一，當(dāng)前國內(nèi)基礎(chǔ)原生的大模型極其匱乏，自主研發(fā)能力不足，而開源模型的能力又不穩(wěn)定，中文的支持是相對比較弱的，語種的支持也比較少，安全性不足，無法用于嚴(yán)格的生產(chǎn)環(huán)境。第二，很多政企的重要部門需要自主可控、安全可靠的原生模型，因為開源模型是一個黑盒，預(yù)訓(xùn)練階段的時候，數(shù)據(jù)的來源和質(zhì)量不可信，就會導(dǎo)致模型在出生時不安全。同時應(yīng)用到政企場景時，二次訓(xùn)練的可操作性又不強，制約了應(yīng)用和發(fā)展。第三，大模型是大算力、大數(shù)據(jù)、大算法的融合大工程，是一個龐大的工程，下一代的技術(shù)創(chuàng)新需要研發(fā)經(jīng)驗的積累，從頭預(yù)訓(xùn)練可以得到第一手經(jīng)驗，通過積累，可以進行進一步原生創(chuàng)新。
“雅意大模型的研發(fā)其實取得了一批硬核的技術(shù)成果。首先是全國產(chǎn)化的基礎(chǔ)模型，數(shù)據(jù)模型完全是由我們團隊工程師和青年科學(xué)家一起自主研發(fā)，從頭開始預(yù)訓(xùn)練。其次非常重要的是，我們積累了兩個非常重要的AI數(shù)據(jù)集，一個是海量的高質(zhì)量預(yù)訓(xùn)練的數(shù)據(jù)集，一個是領(lǐng)域微調(diào)的指令集，我們的AI數(shù)據(jù)集也參與了智源研究院中國CCI語料數(shù)據(jù)庫的建設(shè)，在核心技術(shù)的詞表壓縮、訓(xùn)練加速、意圖識別、工具調(diào)用等方面取得了一些領(lǐng)先的成果?！蓖趵谡f道，“但仍然需要看到的是，在新的一些行業(yè)應(yīng)用里面，多輪對話、長文閱讀、多模態(tài)智能交互、內(nèi)容安全可控以及智能插件的自動調(diào)用，這些工作還亟待去做一些技術(shù)探索?！?/p>
“人工智能分為通用和專用，其中通用人工智能分三個層次——低等、中等、高等，現(xiàn)在無疑是在低等的層次，但是正在這個層次上逐漸向中等發(fā)展和演化，大模型演化趨勢是非常明顯的?！蹦祥_大學(xué)經(jīng)濟研究所所長、中國新一代人工智能發(fā)展戰(zhàn)略研究院首席經(jīng)濟學(xué)家劉剛說道，從大模型在各個行業(yè)的應(yīng)用來看，落地時存在著兩個重要影響因素。第一個是容錯率，內(nèi)部使用時容錯率高，對外用容錯率低，容錯率決定了這個模型在行業(yè)應(yīng)用的情況。第二個是市場規(guī)模，在使用時會先解決頭部問題，然后再解決長尾問題。
北京銀行首席信息官龔偉華談到了大模型在銀行領(lǐng)域的落地情況，他表示：“當(dāng)下來看，大模型有自身的優(yōu)勢和一些缺陷。因為大模型中有很多東西是不可解釋性的，存在模型黑盒，作為銀行來說，如果直接把大模型的能力用于服務(wù)客戶，風(fēng)險還是非常大。所以短期來看，大模型直接對外服務(wù)會比較少，但是對內(nèi)我們愿意在各種場景進行訓(xùn)練探索。未來相信隨著科技倫理的治理，國家對于模型應(yīng)用法律法規(guī)的逐漸成熟，大模型的應(yīng)用落地也會更加成熟?！?/p>
此外，可以清晰看到的是，人工智能這個萬億級的賽道正在從感知智能向認(rèn)知和決策智能跨越，以人臉識別等視覺識別技術(shù)的企業(yè)上市，標(biāo)志著感知智能的市場已成規(guī)模?！岸S著ChatGPT的發(fā)布，這兩年認(rèn)知智能市場進入了加速的變現(xiàn)期，未來決策智能市場空間更為巨大。”王磊說。
（文章來源：中國經(jīng)營網(wǎng)）
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認(rèn)可。 交易和投資涉及高風(fēng)險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
