新火種
2023-12-05 
IDEA提出ToG思維圖譜大模型性能提升214%
要點(diǎn):
由IDEA研究院、微軟亞洲研究院、香港科技大學(xué)等研究團(tuán)隊(duì)推出的Think-on-Graph技術(shù)，通過大模型與知識圖譜的深度融合，實(shí)現(xiàn)在多個(gè)基準(zhǔn)數(shù)據(jù)集上的性能提升，引領(lǐng)深度推理領(lǐng)域。
在解決大模型在金融、法律、醫(yī)療等領(lǐng)域幻覺問題的挑戰(zhàn)中，Think-on-Graph通過緊耦合的方式將大模型（LLM）作為“跑腿”，與知識圖譜(KG)相互協(xié)作，提供更條理清晰、可追溯的推理鏈條。
Think-on-Graph借鑒了Transformer的beam-search算法思路，通過搜索剪枝和推理決策兩個(gè)任務(wù)的迭代過程，有效提升了大模型推理的可解釋性，同時(shí)在多個(gè)任務(wù)上刷新性能榜單。
站長之家11月27日 消息:近期，由IDEA研究院、微軟亞洲研究院、香港科技大學(xué)等多方研究團(tuán)隊(duì)合作推出的Think-on-Graph技術(shù)，在深度推理領(lǐng)域掀起了一場革新。這一技術(shù)通過緊耦合大模型（LLM）與知識圖譜(KG)，成功彌補(bǔ)了大模型在金融、法律、醫(yī)療等領(lǐng)域幻覺問題上的能力短板。Think-on-Graph被證明在多個(gè)基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)了巨大的性能提升，刷新了相關(guān)領(lǐng)域的性能榜單。
為了解決大模型在幻覺問題上的挑戰(zhàn)，Think-on-Graph采用了緊耦合的新范式，將大模型作為“跑腿”與知識圖譜相互協(xié)作。這一方法不僅使推理過程更加清晰有序，還提供了可追溯的推理鏈條。通過一個(gè)具體的例子，對比了傳統(tǒng)大模型在推理問題上的表現(xiàn)與Think-on-Graph的方式，突顯了其在邏輯分析和推理透明度方面的優(yōu)勢。
Think-on-Graph的緊耦合范式不僅提高了大模型推理的效率，還在可解釋性上有所突破。采用了Transformer的beam-search算法思路，實(shí)現(xiàn)了搜索剪枝和推理決策的迭代過程，有效提升了大模型推理的可解釋性。此外，通過人工反饋和大模型的推理能力，Think-on-Graph還能夠發(fā)現(xiàn)并修正知識圖譜中的錯(cuò)誤信息，彌補(bǔ)了大模型訓(xùn)練時(shí)間長、知識更新慢的缺點(diǎn)。
最終，在四類知識密集型任務(wù)的共9個(gè)數(shù)據(jù)集上，Think-on-Graph不僅刷新了7個(gè)性能榜單，而且在Zeroshot-RE數(shù)據(jù)集上的表現(xiàn)更是顯著超過了傳統(tǒng)大模型。這一研究成果為深度推理領(lǐng)域的發(fā)展帶來了新的思路和方法，為實(shí)現(xiàn)大模型在各領(lǐng)域應(yīng)用中更可靠、可解釋的推理能力提供了有力支持。
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前，請務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
