首頁(yè) > AI資訊 > 最新資訊 > 站上大模型制高點(diǎn):我們給不輸GPT-4的文心大模型4.0,來(lái)了一場(chǎng)技術(shù)揭秘

站上大模型制高點(diǎn):我們給不輸GPT-4的文心大模型4.0,來(lái)了一場(chǎng)技術(shù)揭秘

新火種    2023-10-29

「這是迄今為止最強(qiáng)的文心大模型。它實(shí)現(xiàn)了基礎(chǔ)模型的全面升級(jí),在理解、生成、邏輯和記憶四大能力上都比文心一言線上版本有了明顯提升,綜合水平與 GPT-4 相比毫不遜色,」百度創(chuàng)始人、董事長(zhǎng)兼 CEO 李彥宏說(shuō)道。

國(guó)內(nèi)的大模型已經(jīng)沖到了業(yè)界最強(qiáng)水平?10 月 17 日,百度世界大會(huì)上文心大模型 4.0 的發(fā)布引來(lái)了一大波關(guān)注。

在昨天的大會(huì)現(xiàn)場(chǎng),百度展示了一段又一段 demo,文心大模型現(xiàn)在能看懂你的言外之意,比如問(wèn)它一個(gè)問(wèn)題:「我想回承德買房,能用公積金貸款嗎?手續(xù)怎么辦,我在北京工作。」

一段完全口語(yǔ)化的表達(dá),前后亂序,沒(méi)有明確表述,但 AI 也能理解說(shuō)話人的潛臺(tái)詞:公積金是北京的,戶口可能在承德。文心一言理解上下文之后準(zhǔn)確針對(duì)問(wèn)題給出了回答。

當(dāng)然還有先進(jìn)的多模態(tài)方向:給文心大模型一個(gè)新車型的圖片,再加上幾句話的提示(Prompt),它就可以很快生成完整的企劃文案圖片,并把素材結(jié)合成海報(bào)。再提示幾下,文心就能結(jié)合官網(wǎng)信息和已有內(nèi)容生成一段宣傳視頻,其中還有數(shù)字人在進(jìn)行講解。

從零開(kāi)始到輸出海報(bào)和視頻,整個(gè)過(guò)程不到三分鐘。

「人們常說(shuō)不寫(xiě)作業(yè)母慈子孝,一寫(xiě)作業(yè)雞飛狗跳。文心一言能不能幫助家長(zhǎng)解決輔導(dǎo)功課的問(wèn)題?」李彥宏說(shuō)道。

給出一道數(shù)學(xué)題,文心的解答過(guò)程非常詳細(xì)。AI 還能夠進(jìn)一步解釋這個(gè)問(wèn)題中涉及到的各個(gè)知識(shí)點(diǎn)。

衡量 AI 智能程度的另一個(gè)指標(biāo)在于長(zhǎng)期記憶能力,如果大模型生成的內(nèi)容前后邏輯不一致,那就不存在可用性了。在現(xiàn)場(chǎng),李彥宏讓文心一言生成一部武俠小說(shuō)的大綱,再在其中細(xì)化情節(jié),加入幾個(gè)人物,改變沖突的戲劇要素…… 問(wèn)題來(lái)了,經(jīng)歷了多輪對(duì)話,它還記得自己最開(kāi)始給女主角設(shè)定的特殊能力嗎?

完全沒(méi)有問(wèn)題。

面向全社會(huì)開(kāi)放才一個(gè)多月,文心大模型的綜合水平看來(lái)又有了大幅進(jìn)化,不過(guò)在主題演講上的那些畢竟是「命題作文」,真正用起來(lái)會(huì)不會(huì)是一回事呢?

其實(shí)想要用上并不難:昨天大會(huì)的一開(kāi)場(chǎng),百度就宣布文心大模型 4.0 開(kāi)啟邀請(qǐng)測(cè)試,現(xiàn)場(chǎng)觀眾都有了測(cè)試權(quán)限,在網(wǎng)站和 APP 上都可以體驗(yàn)。我們則是提前獲得了評(píng)測(cè)資格,嘗試了一下新版本。

文心大模型 4.0 正面對(duì)比 GPT-4

在文心一言的網(wǎng)站上,現(xiàn)在已經(jīng)出現(xiàn)了文心大模型 4.0 的標(biāo)簽,表面看起來(lái)和 3.5 版沒(méi)有太大區(qū)別:

在這里我們要引入一點(diǎn)前置知識(shí):上個(gè)版本文心大模型 3.5 已經(jīng)有了插件(現(xiàn)有 8 種)、多模態(tài)理解、生成等能力,通過(guò)知識(shí)點(diǎn)增強(qiáng)技術(shù)實(shí)現(xiàn)了對(duì)世界知識(shí)的熟練掌握。因此,既然說(shuō) 4.0 版是「迄今為止最強(qiáng)大模型」,我們就不能再用以前過(guò)于簡(jiǎn)單的問(wèn)題來(lái)考驗(yàn)它了。

先看理解能力,這道「中文十級(jí)題」目測(cè)連網(wǎng)友都會(huì)翻車,文心大模型 4.0 的回答簡(jiǎn)潔明了:

換業(yè)界標(biāo)桿 GPT-4 來(lái)回答,它理解并解釋了其中幽默的意味,但表示無(wú)法確定小明最后買的是幾等座:

下面這段話是在一檔直播節(jié)目上出現(xiàn)的,那時(shí)人們?cè)u(píng)價(jià)道:全中國(guó)沒(méi)人聽(tīng)得懂白巖松在說(shuō)什么。

兩個(gè)大模型都認(rèn)為說(shuō)話人想表達(dá)的是:人們都喜愛(ài)足球這項(xiàng)運(yùn)動(dòng),不應(yīng)該因?yàn)橐恍〔糠秩说牟幌矚g而影響到這種喜愛(ài)。不過(guò)作為人類,還是得說(shuō)一句 AI 沒(méi)有理解「想說(shuō)聲喜愛(ài)很難」這種感情。

看起來(lái)理解問(wèn)題的水準(zhǔn)上,兩種模型水平相近,文心大模型在一小部分問(wèn)題上有點(diǎn)優(yōu)勢(shì)。

再看邏輯推理能力,輸入一個(gè)高考試卷中的物理選擇題,文心大模型 4.0 和 GPT-4 都給出了正確的回答:

看起來(lái)文心能給出的答案更詳細(xì)一些,另外還顯示了幾個(gè)進(jìn)一步解釋概念的引導(dǎo)選項(xiàng),似乎它對(duì)做題進(jìn)行了專門的優(yōu)化?

我們繼續(xù)問(wèn)了很多高考的數(shù)學(xué)題目,結(jié)果各有對(duì)錯(cuò),也有些是都答不上來(lái)的。總體來(lái)看文心 4.0 和 GPT-4 的水平相近。

還有多模態(tài)生成,我們直接用同樣的指令讓兩個(gè)大模型生成一段視頻,文心一言調(diào)用「一鏡留影」插件,直接輸出了結(jié)果:

GPT-4 則是調(diào)用 CapCut(字節(jié)的剪映)插件生成視頻內(nèi)容。需要注意的是,它提示要想生成視頻,就必須要與你進(jìn)行多輪對(duì)話,逐步確定好視頻腳本(英文的)、屏幕比例等等:

在不斷的測(cè)試中我們還能看出,如果你 Prompt 得越仔細(xì),說(shuō) AI 話的格式越規(guī)整,GPT-4 的表現(xiàn)就相對(duì)越好,不過(guò)最終也并沒(méi)有產(chǎn)生決定性的差距。調(diào)戲大模型,現(xiàn)在已經(jīng)越來(lái)越像一門學(xué)問(wèn)了。

為了測(cè)試四大能力中的長(zhǎng)期記憶能力,我們讓文心大模型 4.0 閱讀一篇貼吧的帖子:在崩鐵更新了 1.4 版本之后,有人從自己專業(yè)的角度對(duì)劇情進(jìn)行了一長(zhǎng)段吐槽,那么這評(píng)價(jià)合理嗎?

文心認(rèn)為游戲劇情不需要完全按照現(xiàn)實(shí)世界的邏輯來(lái)展開(kāi)。我不是很認(rèn)同,我就是想要符合現(xiàn)實(shí)邏輯的劇情:

能不能再跌宕起伏一點(diǎn)?

再嘗試替換其中的一個(gè)人物:

看起來(lái),文心大模型 4.0 可以在保持原始知識(shí)的情況下,與人在不斷對(duì)話的過(guò)程中生成、提煉出你想要的內(nèi)容。

還有一些我們經(jīng)常會(huì)用得到的功能。在 ChatGPT 出現(xiàn)后,越來(lái)越多的人開(kāi)始嘗試使用大模型幫忙來(lái)潤(rùn)色論文,據(jù)說(shuō) AI 寫(xiě)論文看起來(lái)很有功底,一般人還真比不上。我們用一段著名的發(fā)言試一下:

文心大模型 4.0 把它改寫(xiě)成了這樣:

與之相對(duì)的是,GPT-4 更多地使用了原文的信息:

不過(guò)在更多測(cè)試中,GPT-4 生成的內(nèi)容偶爾會(huì)出現(xiàn)夾雜英文的現(xiàn)象。

另外,文心一言目前為保證獲取實(shí)時(shí)信息,默認(rèn)接入了百度搜索插件,也在理解網(wǎng)絡(luò)新趨勢(shì)的時(shí)候能幫得上忙。比如,我們最近都在反思自己有沒(méi)有努力工作:

相比之下,GPT-4 給出了似乎是基于大模型幻覺(jué)的回答。

如果多點(diǎn)一步選擇使用 Bing 聯(lián)網(wǎng)版的 GPT-4 則可以得到正確回復(fù),不過(guò)再次出現(xiàn)了語(yǔ)言問(wèn)題,偶爾會(huì)獲得全英文的回答。

看起來(lái),文心大模型 4.0 在四大核心能力上的提升的確明顯,和 GPT-4 比毫不遜色的說(shuō)法也并不是夸張,特別是在中文領(lǐng)域里,水平是經(jīng)得起考驗(yàn)的。

核心技術(shù)揭秘

能做得到業(yè)內(nèi)領(lǐng)先,百度實(shí)現(xiàn)了哪些技術(shù)進(jìn)步?在昨天會(huì)上,百度 CTO 王海峰解讀了文心大模型 4.0 的關(guān)鍵技術(shù)和最新進(jìn)展。

「相比 3.5 版本,文心大模型 4.0 的理解、生成、邏輯、記憶四大能力都有顯著提升,」王海峰說(shuō)道。「其中理解和生成能力的提升幅度相近。而邏輯和記憶能力的提升則更大。邏輯的提升幅度達(dá)到理解的近三倍,記憶的提升幅度也達(dá)到了理解的兩倍多。」這些提升都會(huì)給用戶帶來(lái)幫助。

這些改進(jìn)的速度很快 —— 其實(shí)文心大模型 4.0 在 9 月初就達(dá)到了上線標(biāo)準(zhǔn),開(kāi)始了小流量測(cè)試。過(guò)去的一個(gè)多月里經(jīng)過(guò)不斷調(diào)優(yōu),它的生成效果又提升了近 30%。

基礎(chǔ)模型能力的增長(zhǎng)體現(xiàn)在應(yīng)用上,就轉(zhuǎn)化成了生產(chǎn)效率的提升。比如在各家大廠都說(shuō)在用的智能代碼助手上,百度基于文心大模型的 Comate 在內(nèi)部應(yīng)用效果不錯(cuò),整體的代碼采納率現(xiàn)在是 40%,高頻用戶的代碼采納率達(dá)到 60%。現(xiàn)在百度每天新增的代碼中,有 20% 是由大模型生成的,這個(gè)比例還在不斷升高。

這些提升又是靠什么做到的?總的來(lái)說(shuō),百度基于高效率算力、自研框架、更好的數(shù)據(jù)處理機(jī)制,再結(jié)合算法與調(diào)優(yōu),這才訓(xùn)練出了規(guī)模更大、效果更好的文心大模型 4.0。

今年 3 月正式發(fā)布的文心一言,其背后基于文心大模型 3.0,這是一個(gè)有知識(shí)增強(qiáng)的大語(yǔ)言模型,它從數(shù)萬(wàn)億數(shù)據(jù)和數(shù)千億知識(shí)中融合學(xué)習(xí),又使用了有監(jiān)督精調(diào)、人類反饋強(qiáng)化學(xué)習(xí)、提示等技術(shù),具備知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)的優(yōu)勢(shì)。

5 月份發(fā)布的文心大模型 3.5 則在基礎(chǔ)模型、精調(diào)技術(shù)、知識(shí)點(diǎn)增強(qiáng)、邏輯推理、插件機(jī)制等方面進(jìn)行了改進(jìn),取得了生成效果和效率的提升。

文心大模型 4.0 以它們?yōu)榛A(chǔ),繼續(xù)在多個(gè)關(guān)鍵技術(shù)向上突破。

具體來(lái)說(shuō),百度:

在萬(wàn)卡算力上基于飛槳平臺(tái),通過(guò)集群基礎(chǔ)設(shè)施和調(diào)度系統(tǒng)、飛槳框架的軟硬協(xié)同優(yōu)化,支持了大模型的穩(wěn)定高效訓(xùn)練。通過(guò)建設(shè)多維數(shù)據(jù)體系,形成了從數(shù)據(jù)挖掘、分析、合成、標(biāo)注到評(píng)估閉環(huán),充分提高數(shù)據(jù)的利用效率,大幅提升模型效果。基于有監(jiān)督精調(diào)、偏好學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等技術(shù)進(jìn)行多階段對(duì)齊,保證了模型能夠更好地與人類的判斷和選擇對(duì)齊。利用可再生訓(xùn)練技術(shù)通過(guò)增量式的參數(shù)調(diào)優(yōu),有效節(jié)省了訓(xùn)練資源和時(shí)間,加快了模型迭代速度。

基于這一系列的提升,自三月以來(lái)文心大模型的訓(xùn)練效率已累計(jì)提升 3.6 倍;訓(xùn)練穩(wěn)定性方面,周均的訓(xùn)練有效率已超過(guò) 98%。

另外在更高層面上還有一些改進(jìn)。

文心大模型 4.0 實(shí)現(xiàn)了輸入和輸出兩階段的知識(shí)點(diǎn)增強(qiáng),一方面對(duì)用戶輸入的問(wèn)題進(jìn)行理解,拆解出所需的知識(shí)點(diǎn),然后在搜索引擎、知識(shí)圖譜、數(shù)據(jù)庫(kù)中查找準(zhǔn)確知識(shí),再把這些知識(shí)組裝進(jìn) Prompt 送入大模型,提升了準(zhǔn)確率和效率。另一方面又對(duì)大模型的輸出進(jìn)行「反思」,從生成結(jié)果中拆解出知識(shí)點(diǎn),再用搜索引擎、知識(shí)圖譜、數(shù)據(jù)庫(kù),以及大模型本身進(jìn)行確認(rèn),對(duì)有差錯(cuò)的內(nèi)容進(jìn)行修正。

給大模型再加一層自動(dòng)化的 AutoGPT 被認(rèn)為是大模型的重要發(fā)展方向,百度同樣構(gòu)建了文心的智能體機(jī)制。人的認(rèn)知系統(tǒng)可劃分為兩個(gè)部分:系統(tǒng) 1,反應(yīng)很快,但容易出錯(cuò);系統(tǒng) 2,反應(yīng)慢,但更理性、更準(zhǔn)確。在基礎(chǔ)大模型之上百度進(jìn)一步研制了系統(tǒng) 2,包括理解、規(guī)劃、反思和進(jìn)化,能夠做到可靠執(zhí)行,自我進(jìn)化,并一定程度上將思考過(guò)程白盒化,從而讓機(jī)器像人一樣思考和行動(dòng),自主的完成復(fù)雜任務(wù),并能夠在環(huán)境中持續(xù)學(xué)習(xí)實(shí)現(xiàn)自主進(jìn)化。

接下來(lái),文心一言團(tuán)隊(duì)還會(huì)繼續(xù)加班加點(diǎn),持續(xù)提升大模型的能力。

目前,文心大模型的用戶量增長(zhǎng)很快。王海峰公布了一組數(shù)字:自 8 月 31 日文心一言面向全社會(huì)開(kāi)放至今,僅用 40 多天的時(shí)間,文心一言的用戶規(guī)模已經(jīng)達(dá)到 4500 萬(wàn),同時(shí)覆蓋了 5.4 萬(wàn)開(kāi)發(fā)者,4300 個(gè)場(chǎng)景,825 個(gè)應(yīng)用,與之匹配的插件也超過(guò)了 500 個(gè)。

百度:做國(guó)內(nèi)第一個(gè) AI 原生化公司

當(dāng)然,前面展示的文心一言只是生成式 AI 應(yīng)用的一小部分。

大模型理解、生成、邏輯、記憶的四大核心能力突破,是催生 AI 原生應(yīng)用的必要條件,帶來(lái)了全新的想象和創(chuàng)新空間。

李彥宏表示,百度要做第一個(gè)把所有產(chǎn)品進(jìn)行重構(gòu)的公司。在世界大會(huì)上,百度發(fā)布了多款 AI 原生的應(yīng)用,來(lái)自搜索、地圖、文庫(kù)、網(wǎng)盤等業(yè)務(wù)線的十余個(gè)應(yīng)用產(chǎn)品全部亮相。

百度搜索是大模型落地的第一步,「新搜索」是全新的 AI 互動(dòng)式搜索,它實(shí)現(xiàn)了三大重要提升:極致滿足、推薦激發(fā)、多輪交互。當(dāng)你在搜索框里輸入問(wèn)題,它不再是單純的輸出鏈接,而是生成完整的答案,并附帶易于理解的圖表。

大模型加持的生產(chǎn)力工具也在變得更聰明,分析師現(xiàn)在可以通過(guò)大模型工具可以把十幾天才能完成的任務(wù)縮短到幾分鐘來(lái)完成,參與在線會(huì)議的人可以從冗長(zhǎng)的對(duì)話內(nèi)容里快速總結(jié)出重要信息,出差時(shí) AI 也會(huì)自動(dòng)幫你安排行程:

在我們每天都會(huì)用的百度地圖上,最新上線的 V19 版本基于文心大模型進(jìn)行了重構(gòu),其中的「AI 向?qū)А咕邆涠噍喿匀徽Z(yǔ)言交互能力,用說(shuō)話的方式就能喚醒菜單里被折疊的上千種能力,也可以理解人們不是具體地點(diǎn)的需求,并找到最優(yōu)解,當(dāng)好一個(gè)向?qū)А?/p>

如果把眼光放遠(yuǎn)到更多行業(yè),百度正在大力推動(dòng)數(shù)字技術(shù)與實(shí)體經(jīng)濟(jì)的深度融合,其大模型技術(shù)已應(yīng)用在制造、能源、電力、化工、交通等實(shí)體產(chǎn)業(yè)中。在千帆大模型平臺(tái)上,現(xiàn)在已有超過(guò) 1.7 萬(wàn)企業(yè)開(kāi)發(fā)了產(chǎn)業(yè)模型和解決方案,覆蓋了各行業(yè)的近 500 個(gè)場(chǎng)景。

最近一段時(shí)間,AI 領(lǐng)域技術(shù)的軍備競(jìng)賽讓我們對(duì)技術(shù)突破越來(lái)越熟視無(wú)睹。有時(shí)候甚至?xí)浘嚯x ChatGPT 正式發(fā)布,現(xiàn)在才過(guò)去十個(gè)多月的時(shí)間。在這段時(shí)間里,通用的生成式 AI 已經(jīng)從遙不可及的愿景,變成了人人在玩的聊天機(jī)器人,又蛻變成為了眾多行業(yè)效率提升的基礎(chǔ)。

而在未來(lái),不論時(shí)間的長(zhǎng)短,AI 原生的智能化注定要改變所有人的生活和工作方式。

可喜的是,在這個(gè)過(guò)程中,國(guó)內(nèi)公司已經(jīng)拿到了入場(chǎng)門票。

相關(guān)推薦
免責(zé)聲明
本文所包含的觀點(diǎn)僅代表作者個(gè)人看法,不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn),讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前,請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。

熱門文章