新火種
2024-11-15 
權(quán)威中文大模型10月榜單出爐，商湯“日日新”金牌！
模型表現(xiàn)好，金牌少不了。
剛剛，中文大模型測(cè)評(píng)基準(zhǔn)SuperCLUE發(fā)布《中文大模型基準(zhǔn)測(cè)評(píng)2024年10月報(bào)告》：
商湯日日新·商量大模型（SenseChat5.5）憑借出色的能力表現(xiàn)，總得分位列國內(nèi)大模型第一梯隊(duì)，獲得金牌。
本次SuperCLUE10月報(bào)告覆蓋23個(gè)國內(nèi)模型，聚焦語言大模型的通用能力評(píng)估，分為三大維度：除了考察“文科”、“理科”基礎(chǔ)能力外，還有考察模型更高階能力的“Hard”附加任務(wù)，總共2900+道題：
【理科任務(wù)】分為計(jì)算、邏輯推理、代碼、工具使用測(cè)評(píng)集；
【文科任務(wù)】分為知識(shí)百科、語言理解、長(zhǎng)文本、角色扮演、生成與創(chuàng)作、安全六大測(cè)評(píng)集；
【Hard任務(wù)】分為精確指令遵循測(cè)評(píng)集，復(fù)雜任務(wù)高階推理測(cè)評(píng)集。
商湯SenseChat5.5在多項(xiàng)評(píng)測(cè)任務(wù)中均位列第一梯隊(duì)，文科中語言理解、安全等維度表現(xiàn)突出，也是理科中邏輯推理、代碼學(xué)科的“尖子生”。
值得注意的是，在【Hard】的兩項(xiàng)任務(wù)——精準(zhǔn)指令遵循和高階推理中，商湯SenseChat5.5是唯一兩項(xiàng)任務(wù)均位于國內(nèi)第一梯隊(duì)的大模型，體現(xiàn)了模型優(yōu)秀的復(fù)雜推理智能。
SuperCLUE本次報(bào)告顯示，國內(nèi)大模型的能力與ChatGPT-4o-latest表現(xiàn)接近，o1-preview則在復(fù)雜任務(wù)中更為突出。未來，商湯將繼續(xù)堅(jiān)持基礎(chǔ)大模型的持續(xù)研發(fā)與投入，不斷提升真正高階推理及“慢思考”能力。
Tags:
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前，請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
