新火種
2024-11-29 
史無前例！Seq2Seq和GAN同獲NeurIPS時(shí)間檢驗(yàn)獎(jiǎng)，Ilya連續(xù)2年獲獎(jiǎng)
罕見，著實(shí)罕見。
今年的NeurIPS，竟然一口氣頒發(fā)了兩個(gè)時(shí)間檢驗(yàn)獎(jiǎng)（Test of Time Awards）！
用官方的話來說就是：
第一篇，很經(jīng)典——GAN。
出自Yoshua Bengio、lan Goodfellow等一眾大佬之后，引用超過85,000次。官方的評(píng)價(jià)是：
第二篇，也很經(jīng)典——Seq2Seq。
作者包括Ilya、Oriol Vinyals和Quoc V. Le，引用超過27,000次。官方也給出了對(duì)應(yīng)評(píng)價(jià)：
值得一提的是，三人的另一項(xiàng)工作——word2vec，也斬獲了去年的NeurIPS時(shí)間檢驗(yàn)獎(jiǎng)。
谷歌首席科學(xué)家Jeff Dean聞?dòng)嵰舶l(fā)來祝賀：
接下來，我們一起重溫一下經(jīng)典。
GAN生成對(duì)抗網(wǎng)絡(luò)的核心概念是在2014年被提出，通過兩個(gè)神經(jīng)網(wǎng)絡(luò)的對(duì)抗來實(shí)現(xiàn)高質(zhì)量的數(shù)據(jù)生成。
這兩個(gè)網(wǎng)絡(luò)分別是生成器（Generator）和判別器（Discriminator）。
這種對(duì)抗式的訓(xùn)練方式，不僅讓GAN在圖像生成、音樂創(chuàng)作等領(lǐng)域大放異彩，還深刻地影響了AI創(chuàng)作的方式。
GAN的工作機(jī)制可以類比為“造假者與鑒定師”的較量。
生成器就像一位造假者，它不斷學(xué)習(xí)如何根據(jù)隨機(jī)噪聲生成逼真的數(shù)據(jù)；而判別器就像鑒定師，學(xué)會(huì)辨別哪些是“真品”（真實(shí)的數(shù)據(jù)），哪些是“贗品”（生成器造出的數(shù)據(jù)）。
兩者之間相互競爭，生成器不斷改進(jìn)以欺騙判別器，而判別器也不斷提高辨別能力。在這種博弈中，最終生成器能夠產(chǎn)生幾乎與真實(shí)數(shù)據(jù)無異的樣本。
GAN的訓(xùn)練過程本質(zhì)上是一個(gè)“零和游戲”。
生成器和判別器之間的競爭關(guān)系可以看作一個(gè)兩人博弈的極小極大問題：生成器的目標(biāo)是最小化判別器的成功率，而判別器的目標(biāo)則是最大化辨別真實(shí)數(shù)據(jù)與生成數(shù)據(jù)的正確性。
最終，當(dāng)生成器生成的數(shù)據(jù)足夠真實(shí)，使得判別器無法區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)時(shí)，博弈達(dá)到平衡，GAN的訓(xùn)練成功。
這篇論文提出的GAN并不依賴于復(fù)雜的馬爾科夫鏈（Markov Chain）或者近似推斷網(wǎng)絡(luò)，這使得訓(xùn)練過程更為高效。
與其他生成模型（例如深度玻爾茲曼機(jī)）相比，GAN的優(yōu)勢在于它不需要進(jìn)行復(fù)雜的推斷操作，只需通過簡單的前向傳播就可以生成樣本，并且可以使用標(biāo)準(zhǔn)的反向傳播算法來訓(xùn)練。
這種相對(duì)簡潔的結(jié)構(gòu)為GAN在圖像、視頻和音頻生成等任務(wù)中開辟了廣闊的應(yīng)用前景。
盡管GAN具有許多優(yōu)勢，但其訓(xùn)練過程也面臨挑戰(zhàn)。
例如，生成器和判別器的訓(xùn)練需要保持一種微妙的平衡。如果生成器過于強(qiáng)大，判別器將無法有效學(xué)習(xí)，從而影響訓(xùn)練效果；反之亦然。
為了應(yīng)對(duì)這些挑戰(zhàn)，后續(xù)的研究人員提出了許多改進(jìn)方案，如條件GAN（cGAN）、WGAN等，使得GAN的訓(xùn)練更加穩(wěn)定，生成效果更加優(yōu)秀。
生成對(duì)抗網(wǎng)絡(luò)的提出為深度學(xué)習(xí)領(lǐng)域開啟了新的可能性，讓計(jì)算機(jī)在生成內(nèi)容的能力上邁上了一個(gè)新的臺(tái)階。
如今，GAN被廣泛應(yīng)用于藝術(shù)創(chuàng)作、圖像修復(fù)、風(fēng)格轉(zhuǎn)換等多個(gè)領(lǐng)域，成為了現(xiàn)代人工智能工具箱中不可或缺的一部分。
Seq2SeqSeq2Seq也是于2014年被提出，是一種能夠?qū)⑤斎胄蛄杏成涞捷敵鲂蛄械纳疃葘W(xué)習(xí)方法。
傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)（DNN）雖然在很多任務(wù)中表現(xiàn)出色，但它們無法直接處理輸入和輸出長度不定的序列數(shù)據(jù)。
而Seq2Seq模型通過使用兩個(gè)長短期記憶網(wǎng)絡(luò)（LSTM）來實(shí)現(xiàn)這一目標(biāo)：一個(gè)LSTM將輸入序列編碼成固定維度的向量，另一個(gè)LSTM再從這個(gè)向量解碼出目標(biāo)序列。
具體而言：
編碼器（Encoder）：將輸入序列逐步編碼為一個(gè)固定長度的上下文向量。編碼器逐一接收輸入序列的元素（例如單詞），并通過LSTM的隱藏狀態(tài)逐漸生成該上下文向量。解碼器（Decoder）：基于編碼器生成的上下文向量，解碼器逐步生成目標(biāo)序列的輸出。解碼器在生成每一個(gè)輸出時(shí)，也會(huì)參考先前生成的輸出內(nèi)容，以確保生成的序列是符合邏輯的。
一個(gè)有趣的技巧是在訓(xùn)練過程中將輸入序列的單詞順序反轉(zhuǎn)，這種做法能夠顯著提高模型的性能。
這是因?yàn)榉崔D(zhuǎn)后的輸入序列能夠引入更多短期依賴關(guān)系，從而讓模型更容易捕捉到源語言和目標(biāo)語言之間的關(guān)聯(lián)。
通過這種方法，研究者在WMT’14英語到法語的翻譯任務(wù)上取得了34.8的BLEU得分，超過了基于短語的統(tǒng)計(jì)機(jī)器翻譯（SMT）系統(tǒng)的表現(xiàn)。
在實(shí)驗(yàn)中，Seq2Seq模型展示了對(duì)長句子的強(qiáng)大處理能力，這使它在機(jī)器翻譯中具有很大的優(yōu)勢。
與傳統(tǒng)的基于短語的統(tǒng)計(jì)機(jī)器翻譯相比，Seq2Seq模型能夠自動(dòng)學(xué)習(xí)到句子級(jí)別的特征表示，并且對(duì)主動(dòng)語態(tài)和被動(dòng)語態(tài)等變化具有較強(qiáng)的魯棒性。
此外，研究團(tuán)隊(duì)還發(fā)現(xiàn)，利用Seq2Seq模型對(duì)SMT系統(tǒng)生成的候選翻譯進(jìn)行重新排序，可以進(jìn)一步提高翻譯質(zhì)量，使得BLEU得分達(dá)到了36.5。
而Seq2Seq作者之一Oriol Vinyals剛剛也在社交平臺(tái)中發(fā)文回憶：
NeurIPS官方還表示，兩篇時(shí)間檢驗(yàn)獎(jiǎng)的作者將在當(dāng)?shù)貢r(shí)間12月13日（北京時(shí)間12月14日）進(jìn)行Q&A。
以及本屆NeurIPS更多獎(jiǎng)項(xiàng)，新火種會(huì)繼續(xù)保持關(guān)注。
One More Thing彈指十年間，兩篇經(jīng)典論文的關(guān)鍵人物的變動(dòng)也是值得說道說道。
例如Ilya和lanGoodfellow都從谷歌投奔到了OpenAI，目前也都離開了OpenAI。
前不久，lanGoodfellow還被曝出雙重頑疾，正在與疾病抗?fàn)帯?/p>
而Ilya這邊，目前則是忙于創(chuàng)業(yè)，主打就是安全超級(jí)智能（Safe Superintelligence）。
GAN論文地址：
Seq2Seq論文地址：
參考鏈接：
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前，請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
