一鍵換裝神器爆火,老黃換上抱抱臉T恤,CEO本人:我被替代了,和他爭(zhēng)CEO職位爭(zhēng)不過
笑不活,最新虛擬試穿神器被網(wǎng)友們玩壞了。
黃院士、馬斯克、奧特曼、史密斯等一眾大佬衣服集體被扒。
前有老黃卸下皮衣套上糖果包裝袋:

后有奧特曼大秀花臂穿CUCCI:

再有老馬變成了蛛蛛俠:

好萊塢巨星史密斯也風(fēng)格大變:

但說(shuō)回研究本身,確實(shí)正兒八經(jīng)的研究。

名為IDM–VTON,由來(lái)自韓國(guó)科學(xué)技術(shù)院和OMNIOUS.AI公司的研究團(tuán)隊(duì)基于擴(kuò)散模型打造。

目前官方放出了demo,大伙兒可以試玩,推理代碼已開源。
除了開頭所展示的,抱抱臉研究員也玩的不亦樂乎,給老黃換上了專屬戰(zhàn)袍。其CEO連忙轉(zhuǎn)發(fā)打趣:

看熱鬧的網(wǎng)友也是感慨,經(jīng)過這么多年,終于不用再擔(dān)心自己“手殘”了(AI幫你搞定)。

我們也趕緊上手體驗(yàn)了一把。demo整個(gè)頁(yè)面是這樣?jì)饍旱模?/p>

操作起來(lái)也是非常簡(jiǎn)單。
首先上傳人物圖,可以手動(dòng)或者自動(dòng)選擇要修改的區(qū)域。然后,上傳要換的衣服。

直接點(diǎn)擊Try-on,會(huì)自動(dòng)生成掩模圖和換裝后的圖:

上面這張自動(dòng)生成的掩模把手也選進(jìn)去了,所以最后生成的左手效果不好。
我們手動(dòng)選取涂抹一下,同時(shí)人和衣服全部都用我們自己的圖。


這次效果大伙兒覺得如何?
再來(lái)展示一波網(wǎng)友的試玩成品圖。
DeepMind聯(lián)合創(chuàng)始人蘇萊曼穿上了微笑面具修格斯聯(lián)名款T恤:

甚至不少網(wǎng)友真想要這件衣服。

奧特曼再次被網(wǎng)友當(dāng)成模特:

當(dāng)然也有翻車的時(shí)候,比如馬斯克穿的就是山寨CUCCI。

看完效果后,接著來(lái)看IDM–VTON在技術(shù)上是如何實(shí)現(xiàn)的。
技術(shù)方面,IDM–VTON基于擴(kuò)散模型,通過設(shè)計(jì)精細(xì)的注意力模塊來(lái)提高服裝圖像的一致性,并生成真實(shí)的虛擬試穿圖像。
模型架構(gòu)大概包含三部分:
TryonNet:主UNet,處理人物圖像。IP-Adapter:圖像提示適配器,編碼服裝圖像的高級(jí)語(yǔ)義。GarmentNet:并行UNet,提取服裝的低級(jí)特征。
在為UNet提供輸入時(shí),研究人員將人物圖片的含噪聲潛在特征、分割掩模、帶掩蔽的圖片和Densepose數(shù)據(jù)整合在一起。
他們還會(huì)為服裝添加詳細(xì)描述,例如[V]表示“短袖圓領(lǐng)T恤”。這個(gè)描述隨后用作GarmentNet(例如,“一張[V]的照片”)和TryonNet(例如,“模特正在穿[V]”)的輸入提示。
TryonNet和GarmentNet產(chǎn)生的中間特征進(jìn)行了合并,隨后傳遞至自我注意力層。研究人員只使用了來(lái)自TryonNet的輸出的前半部分。這些輸出與文本編碼器和IP-Adapter的特征一起,通過交叉注意力層進(jìn)行融合。
最終,研究人員對(duì)TryonNet和IP-Adapter模塊進(jìn)行了精細(xì)調(diào)整,并鎖定了模型的其它部分。
實(shí)驗(yàn)階段,他們使用VITON-HD數(shù)據(jù)集訓(xùn)練模型,并在VITON-HD、DressCode和內(nèi)部收集的In-the-Wild數(shù)據(jù)集上進(jìn)行評(píng)估。
IDM–VTON在定性和定量上都優(yōu)于先前的方法。






IDM-VTON可以生成真實(shí)的圖像并保留服裝的細(xì)粒度細(xì)節(jié)。
更多細(xì)節(jié),感興趣的家人們可以查看原論文。
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法,不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn),讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前,請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。