新火種
2023-11-01 
最新！NLG頂會(huì)INLG2021最佳長(zhǎng)論文出爐！一作華人學(xué)生代表出席今晚INLG
最新消息，華人學(xué)者Steven Y. Feng與四位學(xué)者Jessica Huynh、Chaitanya Narisetty、Eduard Hovy與Varun Gangal共同發(fā)表的題為“SAPPHIIRE: Approaches for Enhanced Concept-to-Text Generation”的研究論文獲得了2021年 INLG 的最佳長(zhǎng)論文獎(jiǎng)！
今晚，論文作者 Steven Y. Feng 將作為代表出席第14屆INLG會(huì)議，線上分享自然語(yǔ)言生成的團(tuán)隊(duì)研究。
INLG（International Conference on Natural Language Generation ）始于1980年代，旨在討論和傳播自然語(yǔ)言生成領(lǐng)域的突破性成果。今年，會(huì)議于9月20日至24日在蘇格蘭阿伯丁舉行，與會(huì)者會(huì)通過(guò)虛擬會(huì)議介紹他們的研究。
除了世界級(jí)的研究報(bào)告外，今年的會(huì)議還包括研討會(huì)、學(xué)習(xí)教程、受邀專家的講座和一個(gè)討論小組（討論題目為“用戶希望從NLG的現(xiàn)實(shí)應(yīng)用中獲得什么”）。小組討論由目前在計(jì)算機(jī)學(xué)習(xí)、NLG 和認(rèn)知 AI 輔助行業(yè)任職的權(quán)威學(xué)者領(lǐng)導(dǎo)。
雖然自然語(yǔ)言生成（NLG）的研究已經(jīng)持續(xù)了70多年，但旨在將NLG落地的基礎(chǔ)技術(shù)卻是在近些年才出現(xiàn)。最近，越來(lái)越多學(xué)術(shù)界與產(chǎn)業(yè)界的資深人員也已認(rèn)識(shí)到 NLG 是一種核心能力。INLG也稱，會(huì)議現(xiàn)已從小眾的專業(yè)學(xué)術(shù)組織發(fā)展成了一個(gè)產(chǎn)學(xué)研相結(jié)合的國(guó)際性學(xué)術(shù)交流平臺(tái)。
1
獲獎(jiǎng)學(xué)者介紹
Steven Y. Feng，現(xiàn)為卡耐基梅隆大學(xué)（CMU）研究生，對(duì)NLP、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能研究有著豐富的經(jīng)驗(yàn)和極高的研究熱情。
個(gè)人主頁(yè)：https://mobile.twitter.com/stevenyfeng
2
獲獎(jiǎng)?wù)撐?/strong>
論文地址：tinyurl.com/sapphirelNLG
人類能夠從常識(shí)推理，甚至反演，這種能力可以定義為從一組概念生成邏輯句子來(lái)描述日常場(chǎng)景。在這種情況下，這些概念是必須以某種形式在輸出文本中表示的單個(gè)單詞。
因此，論文作者提出了一套簡(jiǎn)單而有效的概念到文本生成改進(jìn)方案，稱為“SAPPHIRE”。具體來(lái)說(shuō)，SAPPHIRE由兩種主要方法組成：
1）增加輸入概念集
2）將從baseline中提取的短語(yǔ)重組成更流暢、更有邏輯的文本。這些主要是與模型無(wú)關(guān)的（model-agnostic）改進(jìn)，分別依賴于數(shù)據(jù)本身和模型自己的初始代。
通過(guò)使用BART和T5模型的實(shí)驗(yàn)，他們證明了這兩種模型在CommonGen任務(wù)上的有效性。通過(guò)廣泛的自動(dòng)和人工評(píng)估，SAPPHIRE能顯著提高模型的性能。深入的定性分析表明，SAPPHIRE有效地解決了基線模型生成的許多問(wèn)題，包括缺乏常識(shí)、不夠具體和流利性差等問(wèn)題。
3研究?jī)?nèi)容
6種語(yǔ)言生成模型的對(duì)比
以上幾種NLG模型對(duì)比揭示了baseline的幾個(gè)問(wèn)題：
1）概念覆蓋率與概念集大小密切相關(guān)，概念集越大，概念的覆蓋率越低，即遺漏概念的概率越高
2）許多短語(yǔ)不完整
3）反應(yīng)遲鈍
Baseline和人工的對(duì)比
如何解決BL模型的固有問(wèn)題？近年來(lái)，隨著模型改進(jìn)的研究取得了重大進(jìn)展，許多文本生成任務(wù)的性能也得到了顯著改善。
在獲獎(jiǎng)團(tuán)隊(duì)中，他們?cè)O(shè)計(jì)了兩步走戰(zhàn)略：通過(guò)提取關(guān)鍵字和注意矩陣，在訓(xùn)練期間從參考文獻(xiàn)中擴(kuò)充概念。對(duì)于短語(yǔ)重組直覺(jué)，他們提出了基于新訓(xùn)練階段和掩蔽填充的兩個(gè)方法。最后，通過(guò)綜合評(píng)估，他們展示了SAPPHIRE是如何通過(guò)各種指標(biāo)提高模型性能，以及解決baseline在常識(shí)、特異性和流暢性方面的問(wèn)題。
他們的第一個(gè)方法：Kw-aug和Att-aug，分別在訓(xùn)練現(xiàn)成的關(guān)鍵字提取模型注意值時(shí)，從參考文獻(xiàn)中提取關(guān)鍵字，使用它們?cè)谟?xùn)練時(shí)擴(kuò)展輸入概念集。（通過(guò)動(dòng)作聯(lián)想場(chǎng)景，通過(guò)名詞聯(lián)想動(dòng)作，也就是由名詞擴(kuò)增動(dòng)詞，由動(dòng)詞擴(kuò)增狀語(yǔ)等）
概念擴(kuò)增
概念擴(kuò)增的方法激發(fā)了Steven Y. Feng五人的想象力：是否有簡(jiǎn)單有效的方法可以從數(shù)據(jù)本身來(lái)提高這些自然語(yǔ)言生成的性能? 此外，是否有可能利用這些模型本身的輸出來(lái)進(jìn)一步提高它們的任務(wù)表現(xiàn)——某種"自我反省"?
在第二種方法中，他們從模型輸出中提取非重疊的關(guān)鍵短語(yǔ)，然后構(gòu)建一個(gè)新的概念集，其中包含這些關(guān)鍵短語(yǔ)和原始概念集中的其他非重疊概念。
也就是說(shuō)，從原有的低端模型中輸出“不那么流暢的句子”，然后提取新句子中的關(guān)鍵詞，再根據(jù)新的關(guān)鍵詞“擴(kuò)增概念”。多次迭代，就能從相似逼近到精確。
如此，機(jī)器完成一輪“自我啟發(fā)”，雖然并不算是自然語(yǔ)言范疇的“藝術(shù)創(chuàng)作”，卻在實(shí)驗(yàn)中貫穿了形象思維與抽象思維經(jīng)過(guò)復(fù)雜的辯證關(guān)系構(gòu)成的思維方式。想象與聯(lián)想，靈感與直覺(jué)，理智與情感，意識(shí)與無(wú)意識(shí)，它們?cè)谖磥?lái)能否卡定在不同的向量圖中，建模、量化，或許一問(wèn)出口，便已有知。
參考資料：https://twitter.com/stevenyfeng/status/1440330270058500102
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前，請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
