AI好好用
2024-12-28 
今年最被低估的AI模型之一，重現李小龍功夫音
AI好好用報道
編輯：Sia
音頻視頻的同步生成，是時候開卷了~
承認吧，雖然谷歌 Veo2 在視頻生成上完虐了 Sora，但生成的還是個默片。
沒聲音的 AI 視頻，說白了就是個半成品。
看看這組數字：
谷歌開放的大規模音頻數據集 AudioSet 顯示，82% 以上的視頻都有人聲或音樂；
去年抖音上傳的 100 多億條視頻里，差不多八成都配了背景音樂。
號稱今年華語最佳電影《好東西》最封神的一場戲，正好也與聲音有關。
在聲效蒙太奇下，日常家務也有山河之聲。
最近火爆全網的 The Heist 也是個好例子。
雖然每個畫面都是用 Google Veo 2 靠文字生成的，但你猜怎么著？
作者最費勁的活兒反而是后期音效 ，全靠手動完成。
看來大家說的沒錯啊，視聽同步生成還真是 AIGC 領域的下一個「硬骨頭」！但好消息是，戰斗已經打響了。
近期，伊利諾伊大學和索尼的聯合團隊搞出了一個配音工具 MMAudio——上傳一段視頻，不需要人工手動，系統可以自動生成合適的音頻，效果很不錯。
一個 8 秒的高質量音頻片段僅需 1.23 秒！
工具鏈接：
https://replicate.com/zsxkib/mmaudio
官方 Demo 先走一波：
Videos from Sora
Videos from Veo 2
MMAudio 專注于模擬真實世界的各種聲音，主要分兩大類：環境音效和動作音效。
環境音效指的是場景中的背景聲音，比如下雨聲、河流聲、風吹樹葉的沙沙聲、鳥叫聲等自然環境的聲音。
這是大導演庫布里克的電影《閃靈》中的一個場景，原來只有背景音樂，沒有音效。
體驗一下 MMAudio 想象出來的效果。
來自 X @cocktailpeanut
災難現場的模擬。
來自X @blizaine
動作音效則是視頻中可見事件產生的聲音，例如物體碰撞的聲音、運動器材的聲音（如網球拍擊球）、動物的叫聲（如狗叫）等。
MMAudio 可以重現李小龍功夫音，難得的是，雙節棍舞動的聲音也有卡點。
來自x @cocktailpeanut
就連一段蘋果發布會的視頻也能整出動靜。你別說，挺合理，同樣卡點準確！
我們也試了一把。
這是一段旅行拍攝的山鵪鶉，因為距離很遠，原視頻只有雜音。
上傳到 MMAudio 、輸入提示詞，結果很理想。
不僅沒了原來的雜音，還添加了動物的聲音，更適合發圈了：
提示詞：A covey of quail
上傳一段法國小哥賣煎餅果子的視頻，聽聽音效怎么樣？
MMAudio 就像一個專業擬音師，通過生成與視頻畫面在語義和時間上都同步的自然聲效，讓視頻內容更真實生動。
雖然它的主要目標不是生成音樂和人聲，但研究表明，多模態聯合訓練并未影響其在單模態任務上的表現。
換句話說，它也能生成背景音樂甚至人聲，雖然不是專業的。
確實也有網友用 MMAudio 生出了背景音樂。
prompt: Christmas snow holiday music Santa Claus Festive
話又說回來，有沒有給視頻一鍵生成背景音樂的工具呢？你別說，還真有！而且，免費！
且聽下回分解。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
