新火種
2025-02-03 
書生·浦語大模型升級，節(jié)約訓(xùn)練成本75%以上，對話與深度思考一鍵切換
上海人工智能實驗室今天對書生大模型進行重要版本升級，書生·浦語3.0（InternLM3）通過精煉數(shù)據(jù)框架，大幅提升了數(shù)據(jù)效率，并實現(xiàn)思維密度的躍升。僅使用4T token的預(yù)訓(xùn)練數(shù)據(jù)，即實現(xiàn)主流開源模型18T數(shù)據(jù)的訓(xùn)練效果，節(jié)約訓(xùn)練成本75%以上；同時，書生·浦語3.0首次在通用模型中實現(xiàn)了常規(guī)對話與深度思考能力融合，可應(yīng)對更多真實使用場景。
“尺度定律”之下，大模型除了要突破算力瓶頸，亦面臨高質(zhì)量數(shù)據(jù)即將“見底”難題。如何通過“通專融合”技術(shù)路徑實現(xiàn)通用人工智能，正日益成為業(yè)內(nèi)共識。
數(shù)據(jù)是大模型能力提升的重要“推進劑”。目前主流開源模型多以擴大預(yù)訓(xùn)練數(shù)據(jù)規(guī)模作為性能提升路徑，預(yù)訓(xùn)練數(shù)據(jù)量普遍接近20T token，訓(xùn)練成本也隨之線性增長，同時也引起業(yè)內(nèi)關(guān)于數(shù)據(jù)瓶頸和Scaling Law（尺度定律）可持續(xù)性的思考。上海AI實驗室研究團隊認為，數(shù)據(jù)質(zhì)量的提升帶來的增益會顯著高于數(shù)據(jù)規(guī)模的提升，而數(shù)據(jù)的“思維密度”（IQPT，Intelligence Quality per Token）是數(shù)據(jù)質(zhì)量的核心，即數(shù)據(jù)的思考過程中蘊含的邏輯性、復(fù)雜性、啟發(fā)性等。為此，團隊提出大規(guī)模數(shù)據(jù)精煉框架，大幅提高了訓(xùn)練數(shù)據(jù)的質(zhì)量。在具體實踐中，書生·浦語3.0通過構(gòu)建數(shù)據(jù)“思維密度”杠桿，撬動模型性能提升，為突破Scaling Law帶來了新的研究范式。
基于司南OpenCompass開源評測框架，研究團隊使用統(tǒng)一可復(fù)現(xiàn)的方法，對書生·浦語3.0等模型進行了評測。評測采用了CMMLU、GPQA等十多個權(quán)威評測集，維度包括推理、數(shù)學(xué)、編程、指令跟隨、長文本、對話及綜合表現(xiàn)等多方面性能。評測結(jié)果顯示，相比同量級開源模型，書生·浦語3.0在大多數(shù)評測集得分領(lǐng)先，綜合性能十分接近GPT-4o-mini。
以“通專融合”路徑探索通用人工智能，其關(guān)鍵技術(shù)之一在于同步提升深度推理與專業(yè)泛化能力。本次發(fā)布的書生·浦語3.0，首次在通用模型中實現(xiàn)深度思考與常規(guī)對話融合，一個模型就能應(yīng)對更多真實使用場景。由于深度思考和常規(guī)對話的數(shù)據(jù)風格存在較大差異，當前業(yè)界普遍針對強推理能力單獨構(gòu)建專用模型。
此前，上海AI實驗室亦發(fā)布了強推理模型書生 InternThinker，其具備長思維能力，并能在推理過程中進行自我反思和糾正，在數(shù)學(xué)競賽評測集上超越了 o1-preview。基于通專融合的技術(shù)路線，研究團隊探索了不同類型數(shù)據(jù)的融合訓(xùn)練方案，使得書生·浦語3.0 同時具備常規(guī)對話和深度思考能力，通過系統(tǒng)提示詞的控制，可以讓單一模型在兩種模式間的一鍵切換，讓通用模型具備深度思考能力。在進行推理任務(wù)時，用戶可以將書生·浦語3.0從常規(guī)對話模式一鍵轉(zhuǎn)變成深度思考模式。
Tags:
相關(guān)推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責任。
