首頁 > AI資訊 > 最新資訊 > 最新成果!中國計算機大會現(xiàn)場王海峰揭秘文心大模型4.0

最新成果!中國計算機大會現(xiàn)場王海峰揭秘文心大模型4.0

新火種    2023-11-06

  近日,第二十屆中國計算機大會(CNCC2023)在遼寧沈陽舉辦,國內(nèi)外計算機領(lǐng)域的專家學(xué)者、科技領(lǐng)軍人才、企業(yè)代表共同探討計算及信息科學(xué)技術(shù)領(lǐng)域最新進展和宏觀發(fā)展趨勢。百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心主任王海峰在會上解讀文心大模型最新技術(shù),闡述大模型產(chǎn)業(yè)模式。據(jù)了解,自文心一言3月發(fā)布至今,文心大模型4.0訓(xùn)練算法效率提升3.6倍,周均訓(xùn)練有效率超過98%,推理性能提升50倍。

  王海峰認(rèn)為,人工智能具有多種典型能力,理解、生成、邏輯、記憶是其中的基礎(chǔ)能力,這四項能力越強,越接近通用人工智能,而大語言模型具備了這四項能力,且越來越強,為發(fā)展通用人工智能帶來了曙光。

  百度在3月16日發(fā)布知識增強大語言模型文心一言,目前文心一言的基礎(chǔ)模型已迭代到文心大模型4.0版本。知識增強大語言模型從數(shù)萬億數(shù)據(jù)和數(shù)千億知識中融合學(xué)習(xí),得到預(yù)訓(xùn)練大模型,在此基礎(chǔ)上采用有監(jiān)督精調(diào)、人類反饋強化學(xué)習(xí)、提示等技術(shù),具備知識增強、檢索增強和對話增強的技術(shù)優(yōu)勢。

  例如在推理方面,通過大規(guī)模邏輯數(shù)據(jù)構(gòu)建、邏輯知識建模、多粒度語義知識組合以及符號神經(jīng)網(wǎng)絡(luò),提升邏輯能力。此外,在輸入和輸出階段都進行知識點增強。而在插件方面,通過數(shù)據(jù)驅(qū)動、提示構(gòu)建,以及插件增強進行場景適配,協(xié)同優(yōu)化。文心一言已上線百度搜索、覽卷文檔、E言易圖、說圖解畫、一鏡流影等原生插件,擴展了大模型能力邊界,更適應(yīng)場景需要。

  此外,百度進一步研制了智能體機制,包括理解、規(guī)劃、反思和進化,能夠做到可靠執(zhí)行、自我進化,并一定程度上將思考過程白盒化,讓機器像人一樣思考和行動,自主完成復(fù)雜任務(wù),在環(huán)境中持續(xù)學(xué)習(xí)實現(xiàn)自主進化。

  王海峰表示,基于更強平臺、更優(yōu)數(shù)據(jù)、更好算法,百度訓(xùn)練出規(guī)模更大、效果更好的文心大模型4.0。通過飛槳與文心的協(xié)同優(yōu)化,模型周均訓(xùn)練有效率超過98%,訓(xùn)練算法效率提升3.6倍,推理性能提升50倍。文心4.0的理解、生成、邏輯、記憶四大能力顯著提升,其中理解和生成能力的提升幅度相近,而邏輯和記憶能力的提升則更大,邏輯的提升幅度達到理解的近3倍,記憶的提升幅度也達到了理解的2倍多。

  具體而言,在萬卡算力上運行飛槳平臺,通過集群基礎(chǔ)設(shè)施和調(diào)度系統(tǒng)、飛槳框架的軟硬協(xié)同優(yōu)化,支持了大模型的穩(wěn)定高效訓(xùn)練。建設(shè)了多維數(shù)據(jù)體系,形成了數(shù)據(jù)挖掘、分析、合成、標(biāo)注、評估閉環(huán),充分釋放數(shù)據(jù)價值,并通過多種策略優(yōu)化數(shù)據(jù)源及數(shù)據(jù)分布,大幅提升模型效果。

  基于有監(jiān)督精調(diào)、偏好學(xué)習(xí)、強化學(xué)習(xí)等技術(shù)進行多階段對齊,保證模型更好地與人類的判斷和選擇對齊??稍偕?xùn)練技術(shù)通過增量式的參數(shù)調(diào)優(yōu),有效節(jié)省了訓(xùn)練資源和時間,加快了模型迭代速度。

  公開數(shù)據(jù)顯示,文心一言面向全社會開放一個多月,用戶規(guī)模達到4500萬,開發(fā)者5.4萬、場景4300個、應(yīng)用825個、插件超過500個。飛槳和文心生態(tài)愈加繁榮,已凝聚800萬開發(fā)者,服務(wù)22萬家企事業(yè)單位,基于飛槳創(chuàng)建了80萬個模型。

  演講中,王海峰進一步展示了文心一言的理解、生成、邏輯、記憶能力。文心一言精準(zhǔn)推薦了沈陽的賞秋勝地,根據(jù)指令作了一首以“虎”為題、不出現(xiàn)“虎”字的詩,生動表現(xiàn)了森林之王老虎的威猛形象。而在工作中,文心一言已經(jīng)成為“超級助理”,實現(xiàn)了IM對話智能總結(jié)、會議洞察和會議紀(jì)要實時生成、一鍵智能差旅等。據(jù)悉,目前這些功能已應(yīng)用于百度的工作流程中,助力員工提升工作效率。

  面對大模型產(chǎn)業(yè)化的挑戰(zhàn),王海峰表示,類似芯片代工廠,可以采用“集約化生產(chǎn),平臺化應(yīng)用”的模式,即具有算法、算力和數(shù)據(jù)綜合優(yōu)勢的企業(yè)將模型生產(chǎn)的復(fù)雜過程封裝起來,通過低門檻、高效率的生產(chǎn)平臺,為千行百業(yè)提供大模型服務(wù)。目前,這一產(chǎn)業(yè)化路徑已在文心大模型產(chǎn)業(yè)實踐中得到驗證,百度與各行業(yè)頭部企業(yè)、機構(gòu)共建了包括能源、金融、航天、制造、傳媒、城市、社科以及影視等行業(yè)大模型,正加速大模型產(chǎn)業(yè)化落地。

(文章來源:解放日報)

相關(guān)推薦
免責(zé)聲明
本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認(rèn)可。 交易和投資涉及高風(fēng)險,讀者在采取與本文內(nèi)容相關(guān)的任何行動之前,請務(wù)必進行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責(zé)任。

熱門文章