新火種
2023-11-27 
AI作畫真假難辨：Facebook創(chuàng)意生成網(wǎng)絡(luò)CAN，比GAN更有創(chuàng)造力
編者按：本文由微信公眾號編譯，來源：hackernoon，編譯：文強(qiáng)；36氪經(jīng)授權(quán)發(fā)布。“新智元”（ID：AI_era）美國羅格斯大學(xué)、Facebook AI 實驗室和查爾斯頓學(xué)院的研究人員合作，在生成對抗網(wǎng)絡(luò)（GAN）的基礎(chǔ)上，對損失函數(shù)稍作修改，提出了創(chuàng)意生成網(wǎng)絡(luò)（CAN），能夠生成“具有創(chuàng)意”的畫作。實驗發(fā)現(xiàn)，人類參與者認(rèn)為 CAN 生成的圖像和人類藝術(shù)家畫作在創(chuàng)意程度上不相上下。近來，生成對抗網(wǎng)絡(luò)（GAN）在生成抽象內(nèi)容方面成效顯著。今天我們要介紹的研究，則進(jìn)一步探討了計算機(jī)在“創(chuàng)造力”方面的能力。
模仿大師 GAN：生成器和鑒別器的博弈我們知道，GAN 由兩個相互博弈的神經(jīng)網(wǎng)絡(luò)組成，即生成器和鑒別器。顧名思義，生成器負(fù)責(zé)根據(jù)輸入生成數(shù)據(jù)（輸入可以是噪聲，也可以是一些其他的數(shù)據(jù)）。鑒別器負(fù)責(zé)分析數(shù)據(jù)，并區(qū)分這些數(shù)據(jù)是真實的（來自數(shù)據(jù)集），或者是虛假的（來自生成器）。在數(shù)學(xué)上，這可以被看作是生成器和鑒別器之間的小游戲：如果上面的公式看上去很復(fù)雜，不必?fù)?dān)心——你不是一個人。下面，我們依次說明公式里的各個部分都代表什么。首先，公式的左邊是 MiniMax 方程。下標(biāo) G 和 D 分別代表生成器 G（Generator）和鑒別器 D（Discriminator）。生成器的工作是將方程的值最小化，而鑒別器負(fù)責(zé)將這個值最大化。生成器 G 和鑒別器 D 會一直博弈，直到我們決定停止為止。鑒別器 D 接收來自真實數(shù)據(jù)集的輸入 x，然后輸出它判定為真的結(jié)果 log(D(x))。G(z) 表示生成器生成的數(shù)據(jù)。log(1-D(G(z)))) 計算的是鑒別器在判定數(shù)據(jù)真假方面表現(xiàn)得有多好。D(G(z)) 表示鑒別器認(rèn)為是真實的那些數(shù)據(jù)。用 1 減去這個值則表示判別器認(rèn)為不是真實的數(shù)據(jù)。將所有綜合在一起，鑒別器負(fù)責(zé)將 log(D(x) + log(1-D(G(z)))) 的值最大化，而生成器則負(fù)責(zé)使 D(G(z))) 的值最大化，從而使上述值最小化。生成器會不斷修正自己，讓鑒別器判定其生成的值是真實的，而鑒別器也會不斷修正自己，讓自己能判別出虛假的數(shù)據(jù)。因此，生成器 G 要做的，就是讓自己的輸出與真實數(shù)據(jù)盡可能地相似。而要讓計算機(jī)“有創(chuàng)意”，就必須讓生成器生成嶄新的數(shù)據(jù)，光是讓生成器去模仿是不夠的。修改 GAN 的損失函數(shù)，讓創(chuàng)意對抗網(wǎng)絡(luò) CAN “有創(chuàng)意”論文作者在生成對抗網(wǎng)絡(luò)的基礎(chǔ)上，提出了一種新的架構(gòu)，能夠生成“有創(chuàng)意”的內(nèi)容。他們實現(xiàn)的方法，是在生成器上面增加了一個信號，避免讓生成器生成與現(xiàn)有數(shù)據(jù)過于類似的內(nèi)容。具體說，論文作者修改了 GAN 的損失函數(shù)。下面，我們來詳細(xì)看看 CAN。在原始的 GAN 架構(gòu)中，生成器會根據(jù)生成內(nèi)容是否“騙過”了鑒別器來修改權(quán)重。GAN 的架構(gòu)是不會探索新的內(nèi)容的，GAN 做的只是模仿，其目標(biāo)就是生成與真實數(shù)據(jù)集毫無二致的數(shù)據(jù)。而 CAN 在兩個方面作了修改：鑒別器不僅僅會判定數(shù)據(jù)的真假，還會根據(jù)圖像屬于哪個時間段（time period）進(jìn)行分類然后，生成器會接收這一額外的信息，將那個指標(biāo)和鑒別器的真假判斷一起做衡量這樣做的結(jié)果是什么呢？有了時間段（以及置信度）這個額外的指標(biāo)后，生成器就知道它生成的內(nèi)容與一個時間段的內(nèi)容的相似度有多高了。于是，生成器就能不僅讓其生成的內(nèi)容與真實數(shù)據(jù)相似，同時還能與某一時間段的內(nèi)容不那么相似。
上圖展示了創(chuàng)意對抗網(wǎng)絡(luò) CAN 的架構(gòu)。可以發(fā)現(xiàn)，主要的修改發(fā)生在損失函數(shù)部分。新的損失函數(shù)如下：那么，我們再來看看這個新的損失函數(shù)。上面一行與 GAN 的損失函數(shù)類似。注意，下標(biāo) r 表示鑒別器對真實/虛假的輸出，下表 c 表示鑒別器對時間段分類的輸出。第二行則是為了讓系統(tǒng)輸出有創(chuàng)意的重頭戲。看上去有些復(fù)雜，實際上就是多標(biāo)簽交叉熵?fù)p失（Multi Label Cross Entropy Loss）。注意，這里的 K 表示分類的數(shù)目。這個損失跟常見分類器用的損失是一樣的。生成器會將這部分值最小化，從而將新?lián)p失函數(shù)的值最大化。人類參與實驗者的評估結(jié)果：CAN 生成了藝術(shù)作品下面展示的就是 CAN 生成的圖像。
如何？下面是藝術(shù)展 Art Basel 2017 展出的 21 位人類畫家的作品（實驗中選擇了 25 位，這里露出 21 位）：
為了驗證 CAN 生成的圖像是否“有創(chuàng)意”，論文作者特意做了幾組實驗。他們請 Amazon MTurk 上的人類參與者觀看 GAN、DC-GAN、CAN 生成的圖像和人類畫家的作品，然后評估圖像的創(chuàng)新程度、復(fù)雜程度、讓人意外的程度，以及是人類畫家創(chuàng)作的，還是計算機(jī)生成的等問題。結(jié)果如下表所示。
從第二欄 Novelty 得分可以發(fā)現(xiàn)，參與實驗的人類志愿者認(rèn)為，CAN 生成的圖像較之藝術(shù)家作品（下面兩行）在創(chuàng)意上相差不大，甚至超過了抽象派藝術(shù)家。參與實驗的人還認(rèn)為，CAN 比 GAN 更加“創(chuàng)新”——評判是由人創(chuàng)作的還是計算機(jī)生成的提問 Q6，結(jié)果是 75% vs. 65%。至于是 CAN 更有創(chuàng)意，還是人類畫家更有創(chuàng)意，論文作者并沒有給出確切的回答。要了解更多，在看完摘要后，可以下載他們的論文，對實驗以及思路有詳細(xì)的介紹。創(chuàng)意生成網(wǎng)絡(luò) CAN：學(xué)習(xí)風(fēng)格并從學(xué)會的風(fēng)格偏離，生成“藝術(shù)”
摘要我們提出了一個新的藝術(shù)創(chuàng)作系統(tǒng)。這個系統(tǒng)能夠通過觀看圖像學(xué)習(xí)風(fēng)格進(jìn)行藝術(shù)創(chuàng)作。不僅如此，這個系統(tǒng)還能偏離已經(jīng)學(xué)會的風(fēng)格，增強(qiáng)生成圖像的喚醒能力（arousal potential），從而變得具有創(chuàng)造力。我們建立了生成對抗網(wǎng)絡(luò)（GAN），GAN 在接收給定分布的輸入后，能夠?qū)W習(xí)生成全新的圖像。我們認(rèn)為，GAN 結(jié)構(gòu)原本生成有創(chuàng)意的產(chǎn)品的能力有限。我們通過修改網(wǎng)絡(luò)的目標(biāo)，使其最大限度地偏離已經(jīng)確立的風(fēng)格，同時最小限度地偏離藝術(shù)分布，從而創(chuàng)造有創(chuàng)意的圖像。我們進(jìn)行了實驗，比較了人類參與者觀看系統(tǒng)生成的圖像和藝術(shù)家創(chuàng)作的畫作的反應(yīng)。結(jié)果表明，人類參與者無法分辨系統(tǒng)生成的圖像和當(dāng)代藝術(shù)家在頂級藝術(shù)博覽會中展示的畫作。論文地址
模仿大師 GAN：生成器和鑒別器的博弈我們知道，GAN 由兩個相互博弈的神經(jīng)網(wǎng)絡(luò)組成，即生成器和鑒別器。顧名思義，生成器負(fù)責(zé)根據(jù)輸入生成數(shù)據(jù)（輸入可以是噪聲，也可以是一些其他的數(shù)據(jù)）。鑒別器負(fù)責(zé)分析數(shù)據(jù)，并區(qū)分這些數(shù)據(jù)是真實的（來自數(shù)據(jù)集），或者是虛假的（來自生成器）。在數(shù)學(xué)上，這可以被看作是生成器和鑒別器之間的小游戲：如果上面的公式看上去很復(fù)雜，不必?fù)?dān)心——你不是一個人。下面，我們依次說明公式里的各個部分都代表什么。首先，公式的左邊是 MiniMax 方程。下標(biāo) G 和 D 分別代表生成器 G（Generator）和鑒別器 D（Discriminator）。生成器的工作是將方程的值最小化，而鑒別器負(fù)責(zé)將這個值最大化。生成器 G 和鑒別器 D 會一直博弈，直到我們決定停止為止。鑒別器 D 接收來自真實數(shù)據(jù)集的輸入 x，然后輸出它判定為真的結(jié)果 log(D(x))。G(z) 表示生成器生成的數(shù)據(jù)。log(1-D(G(z)))) 計算的是鑒別器在判定數(shù)據(jù)真假方面表現(xiàn)得有多好。D(G(z)) 表示鑒別器認(rèn)為是真實的那些數(shù)據(jù)。用 1 減去這個值則表示判別器認(rèn)為不是真實的數(shù)據(jù)。將所有綜合在一起，鑒別器負(fù)責(zé)將 log(D(x) + log(1-D(G(z)))) 的值最大化，而生成器則負(fù)責(zé)使 D(G(z))) 的值最大化，從而使上述值最小化。生成器會不斷修正自己，讓鑒別器判定其生成的值是真實的，而鑒別器也會不斷修正自己，讓自己能判別出虛假的數(shù)據(jù)。因此，生成器 G 要做的，就是讓自己的輸出與真實數(shù)據(jù)盡可能地相似。而要讓計算機(jī)“有創(chuàng)意”，就必須讓生成器生成嶄新的數(shù)據(jù)，光是讓生成器去模仿是不夠的。修改 GAN 的損失函數(shù)，讓創(chuàng)意對抗網(wǎng)絡(luò) CAN “有創(chuàng)意”論文作者在生成對抗網(wǎng)絡(luò)的基礎(chǔ)上，提出了一種新的架構(gòu)，能夠生成“有創(chuàng)意”的內(nèi)容。他們實現(xiàn)的方法，是在生成器上面增加了一個信號，避免讓生成器生成與現(xiàn)有數(shù)據(jù)過于類似的內(nèi)容。具體說，論文作者修改了 GAN 的損失函數(shù)。下面，我們來詳細(xì)看看 CAN。在原始的 GAN 架構(gòu)中，生成器會根據(jù)生成內(nèi)容是否“騙過”了鑒別器來修改權(quán)重。GAN 的架構(gòu)是不會探索新的內(nèi)容的，GAN 做的只是模仿，其目標(biāo)就是生成與真實數(shù)據(jù)集毫無二致的數(shù)據(jù)。而 CAN 在兩個方面作了修改：鑒別器不僅僅會判定數(shù)據(jù)的真假，還會根據(jù)圖像屬于哪個時間段（time period）進(jìn)行分類然后，生成器會接收這一額外的信息，將那個指標(biāo)和鑒別器的真假判斷一起做衡量這樣做的結(jié)果是什么呢？有了時間段（以及置信度）這個額外的指標(biāo)后，生成器就知道它生成的內(nèi)容與一個時間段的內(nèi)容的相似度有多高了。于是，生成器就能不僅讓其生成的內(nèi)容與真實數(shù)據(jù)相似，同時還能與某一時間段的內(nèi)容不那么相似。上圖展示了創(chuàng)意對抗網(wǎng)絡(luò) CAN 的架構(gòu)。可以發(fā)現(xiàn)，主要的修改發(fā)生在損失函數(shù)部分。新的損失函數(shù)如下：那么，我們再來看看這個新的損失函數(shù)。上面一行與 GAN 的損失函數(shù)類似。注意，下標(biāo) r 表示鑒別器對真實/虛假的輸出，下表 c 表示鑒別器對時間段分類的輸出。第二行則是為了讓系統(tǒng)輸出有創(chuàng)意的重頭戲。看上去有些復(fù)雜，實際上就是多標(biāo)簽交叉熵?fù)p失（Multi Label Cross Entropy Loss）。注意，這里的 K 表示分類的數(shù)目。這個損失跟常見分類器用的損失是一樣的。生成器會將這部分值最小化，從而將新?lián)p失函數(shù)的值最大化。人類參與實驗者的評估結(jié)果：CAN 生成了藝術(shù)作品下面展示的就是 CAN 生成的圖像。如何？下面是藝術(shù)展 Art Basel 2017 展出的 21 位人類畫家的作品（實驗中選擇了 25 位，這里露出 21 位）：為了驗證 CAN 生成的圖像是否“有創(chuàng)意”，論文作者特意做了幾組實驗。他們請 Amazon MTurk 上的人類參與者觀看 GAN、DC-GAN、CAN 生成的圖像和人類畫家的作品，然后評估圖像的創(chuàng)新程度、復(fù)雜程度、讓人意外的程度，以及是人類畫家創(chuàng)作的，還是計算機(jī)生成的等問題。結(jié)果如下表所示。從第二欄 Novelty 得分可以發(fā)現(xiàn)，參與實驗的人類志愿者認(rèn)為，CAN 生成的圖像較之藝術(shù)家作品（下面兩行）在創(chuàng)意上相差不大，甚至超過了抽象派藝術(shù)家。參與實驗的人還認(rèn)為，CAN 比 GAN 更加“創(chuàng)新”——評判是由人創(chuàng)作的還是計算機(jī)生成的提問 Q6，結(jié)果是 75% vs. 65%。至于是 CAN 更有創(chuàng)意，還是人類畫家更有創(chuàng)意，論文作者并沒有給出確切的回答。要了解更多，在看完摘要后，可以下載他們的論文，對實驗以及思路有詳細(xì)的介紹。創(chuàng)意生成網(wǎng)絡(luò) CAN：學(xué)習(xí)風(fēng)格并從學(xué)會的風(fēng)格偏離，生成“藝術(shù)”摘要我們提出了一個新的藝術(shù)創(chuàng)作系統(tǒng)。這個系統(tǒng)能夠通過觀看圖像學(xué)習(xí)風(fēng)格進(jìn)行藝術(shù)創(chuàng)作。不僅如此，這個系統(tǒng)還能偏離已經(jīng)學(xué)會的風(fēng)格，增強(qiáng)生成圖像的喚醒能力（arousal potential），從而變得具有創(chuàng)造力。我們建立了生成對抗網(wǎng)絡(luò)（GAN），GAN 在接收給定分布的輸入后，能夠?qū)W習(xí)生成全新的圖像。我們認(rèn)為，GAN 結(jié)構(gòu)原本生成有創(chuàng)意的產(chǎn)品的能力有限。我們通過修改網(wǎng)絡(luò)的目標(biāo)，使其最大限度地偏離已經(jīng)確立的風(fēng)格，同時最小限度地偏離藝術(shù)分布，從而創(chuàng)造有創(chuàng)意的圖像。我們進(jìn)行了實驗，比較了人類參與者觀看系統(tǒng)生成的圖像和藝術(shù)家創(chuàng)作的畫作的反應(yīng)。結(jié)果表明，人類參與者無法分辨系統(tǒng)生成的圖像和當(dāng)代藝術(shù)家在頂級藝術(shù)博覽會中展示的畫作。論文地址
Tags:
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認(rèn)可。 交易和投資涉及高風(fēng)險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
