新火種
2024-01-12 
效果超越Gen-2！字節(jié)最新視頻生成模型，一句話讓綠巨人戴VR眼鏡
一句話，就讓綠巨人戴上VR眼鏡。
4K畫質(zhì)那種。
熊貓的奇幻漂流~
這是字節(jié)最新的AI視頻生成模型MagicVideo-V2，各種奇思妙想的想法都能實(shí)現(xiàn)。它不僅支持4K、8K超高分辨率，輕松hold各種繪圖風(fēng)格。
測評效果超過Gen-2、Pika以及現(xiàn)有AI視頻生成工具。
結(jié)果上線不到24小時(shí)就引發(fā)眾人圍觀，比如一條推文就有近20萬瀏覽量。
不少網(wǎng)友驚訝其效果，甚至直言：比runway和pika還要好。
“比runway和pika還要好”
研究人員也的確進(jìn)行了實(shí)際的效果比較。選手分別為：MagicVideo-V2、StabilityAI的SVD-XT，新潛力玩家Pika1.0，以及Runway的Gen-2。
第一輪：光影效果。
（從左到右依次是：MagicVideo-V2、SVD-XT，右上Pika，右下Gen-2，下同）
可以看到，MagicVideo-V2、Gen-2和Pika都有明顯的光影。不過Pika看不出是為旅行者，MagicVideo-V2的色調(diào)更為豐富。
第二輪：情境劇情的表達(dá)。
這一輪明顯也是MagicVideo-V2、Gen-2更勝一籌。SVD-XT呈現(xiàn)的中景構(gòu)圖，雖然年代體現(xiàn)出來了，但表達(dá)不夠。
第三輪：寫實(shí)。
這次對比就更為明顯了。MagicVideo-V2和SVD-XT是完整體現(xiàn)出句子意思的，不過MagicVideo-V2可以看到小孩明顯腳在動的細(xì)節(jié)。
除此之外，研究人員還將MagicVideo-V2與當(dāng)下最先方法進(jìn)行一對一的人類評估。
結(jié)果顯示，相較于其他方法，人們認(rèn)為MagicVideo-V2的效果更好。
（綠色、灰色和粉色條分別代表 MagicVideo-V2 被評價(jià)為更好、相當(dāng)或較差的試驗(yàn)效果。）
如何實(shí)現(xiàn)？簡單來說，MagicVideo-V2是一條視頻生成流水線，集成了文本到圖像模型、視頻運(yùn)動生成器、參考圖像嵌入模塊、插值模塊。
首先是有T2I模塊首先根據(jù)文字生成1024×1024圖像，隨后I2V模塊對該靜態(tài)圖像進(jìn)行動畫處理，生成600×600×32的幀序列，然后再用V2V模塊增強(qiáng)，并完善視頻內(nèi)容，最后再用插值模塊將序列擴(kuò)展到94個(gè)幀。
這樣一來，既保證了高保真，時(shí)間上也有連續(xù)性。
不過早在2022年11月字節(jié)曾推出了MagicVideo V1版。
不過，當(dāng)時(shí)更強(qiáng)調(diào)的是高效性，它能在單個(gè)GPU卡上生成256×256分辨率的視頻。
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
