南方都市報(bào)
2023-11-24 
如何破解大模型“一本正經(jīng)胡說八道”？這場(chǎng)大會(huì)給出新解法
11月22日，2023 IDEA大會(huì)在深圳舉行。IDEA研究院（粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院）創(chuàng)院理事長(zhǎng)、美國(guó)國(guó)家工程院外籍院士沈向洋在會(huì)上發(fā)表主旨演講，發(fā)布IDEA研究院的重磅研產(chǎn)結(jié)晶與市場(chǎng)化成果。同時(shí)，沈向洋還從技術(shù)創(chuàng)新、技術(shù)創(chuàng)業(yè)、技術(shù)驅(qū)動(dòng)新產(chǎn)業(yè)三個(gè)角度，分享科創(chuàng)的實(shí)踐與思考。
“我們今天到底應(yīng)該干什么？視覺大模型還有沒有機(jī)會(huì)？”對(duì)于席卷全球的大模型熱潮，沈向洋拋出這么一個(gè)問題。
在沈向洋看來，計(jì)算機(jī)視覺領(lǐng)域有著長(zhǎng)尾化、碎片化等特點(diǎn)，甚至一百個(gè)場(chǎng)景的話就得有一百個(gè)模型，而互聯(lián)網(wǎng)的數(shù)據(jù)不能覆蓋計(jì)算機(jī)視覺檢測(cè)的場(chǎng)景，所以行業(yè)開始呼喚通用視覺大模型的來臨，且主流做法像GPT4V等多模態(tài)大模型通過語言的能力增加計(jì)算機(jī)視覺。
IDEA研究院計(jì)算機(jī)視覺團(tuán)隊(duì)選擇了另一條路徑，先將基礎(chǔ)的視覺能力做到極致，再增加語言能力。
“我們認(rèn)為，物體級(jí)別的理解（object-level understanding），也就是檢測(cè)、分割、識(shí)別，是連接語言和視覺這兩種最重要的模態(tài)的基石?！鄙蛳蜓蟊硎?，只有對(duì)物理世界有了更為精準(zhǔn)的、物體級(jí)別的視覺理解，才有可能做出真正的多模態(tài)智能。IDEA團(tuán)隊(duì)將通過讓模型言之有據(jù)（grounded）、開放詞表（open-set）、可提示交互（promptable），來探索視覺大模型之路。
與此同時(shí)，大模型雖好，但“一本正經(jīng)的胡說八道”怎么解？
據(jù)了解，大模型存在深度推理能力差、知識(shí)不可追溯、實(shí)時(shí)更新代價(jià)高等局限性，這也成為其在許多嚴(yán)肅領(lǐng)域落地的主要瓶頸。如何彌補(bǔ)大模型的這部分缺陷，是當(dāng)下AI應(yīng)用的重要課題。
在IDAE研究院的研究團(tuán)隊(duì)看來，大模型和知識(shí)圖譜之間的互補(bǔ)，或許是解決上述難題的思路之一。
“大模型的訓(xùn)練過程依賴于語料和大量網(wǎng)上的文本，語料本身是碎片化的知識(shí)，而非結(jié)構(gòu)化的知識(shí)。系統(tǒng)化則是知識(shí)圖譜本身的優(yōu)勢(shì)，它將知識(shí)之間的因果關(guān)聯(lián)、上下游的關(guān)聯(lián)、知識(shí)之間各種的聯(lián)系融為一體，形成一個(gè)龐大的網(wǎng)絡(luò)?！盜DEA研究院執(zhí)行院長(zhǎng)、AI金融與深度學(xué)習(xí)研究中心負(fù)責(zé)人郭健表示，同時(shí)，通過圖數(shù)據(jù)庫上的Alt、Delete、Update的簡(jiǎn)單操作，知識(shí)圖譜的更新速度更快和成本更低，從而將大模型的優(yōu)勢(shì)和知識(shí)圖譜的優(yōu)勢(shì)相融合來進(jìn)行深度推理。
為此，IDEA研究院團(tuán)隊(duì)研發(fā)了Think-on-Graph（思維圖譜）技術(shù)，讓大模型和知識(shí)圖譜強(qiáng)強(qiáng)聯(lián)合。總體來說，大模型更擅長(zhǎng)意圖理解和自主學(xué)習(xí)；而知識(shí)圖譜因其結(jié)構(gòu)化的知識(shí)存儲(chǔ)方式，擅長(zhǎng)邏輯鏈條推理，具有更佳的可解釋性與可實(shí)時(shí)更新性。Think-on-Graph通過實(shí)現(xiàn)兩者的緊耦合交互，驅(qū)動(dòng)大模型agent在知識(shí)圖譜上“思考”，逐步搜索推理出最優(yōu)答案（在知識(shí)圖譜的關(guān)聯(lián)實(shí)體上一步一步搜索推理）。每一步推理中，大模型都親自參與，與知識(shí)圖譜相互取長(zhǎng)補(bǔ)短。
“懂語言者得天下”，除了分享在人工智能領(lǐng)域的探索外，沈向洋還在會(huì)上重點(diǎn)介紹了兩個(gè)語言類項(xiàng)目。
今年8月，IDEA研究院推出的MoonBit月兔在Hacker News（由Y Combinator創(chuàng)辦的知名科創(chuàng)社區(qū)）登上頭版頭條。MoonBit 是由Wasm驅(qū)動(dòng)，專為云計(jì)算與邊緣計(jì)算設(shè)計(jì)的開發(fā)者平臺(tái)，同時(shí)利用AI大模型賦能傳統(tǒng)工具鏈，提升代碼生成效率。IDEA研究院展示的另一門新語言是區(qū)塊鏈并行智能合約語言GCL。不同于傳統(tǒng)的“數(shù)據(jù)跟著代碼跑”的方案，GCL設(shè)計(jì)了“代碼執(zhí)行跟著數(shù)據(jù)跑”的編程模型，以減少因數(shù)據(jù)傳遞造成的麻煩。
相關(guān)資料顯示，成立剛滿三年，IDEA研究院也帶來一批已經(jīng)或正在走向大市場(chǎng)的創(chuàng)業(yè)項(xiàng)目。既有主打AI for Scientists的AI科研產(chǎn)品ReadPaper，也有為數(shù)據(jù)要素可信流通提供硬件級(jí)安全保障的SPU機(jī)密計(jì)算協(xié)處理器、SPU-G異構(gòu)AI協(xié)處理器，還有基于自研知識(shí)圖譜與生物醫(yī)學(xué)領(lǐng)域大模型的腦卒中智能防護(hù)產(chǎn)品StroCare。
（文章來源：南方都市報(bào)）
Tags:
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前，請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
