新火種
2023-11-20 
哼兩句就能變歌曲，還有國寶歌手幫你演繹，音樂Dall·E2時刻來了
機器之能報道
編輯：Sia
一個模型+兩個功能=僅從文本提示就能生成引人入勝的音樂和歌聲。
你是否有過這樣的體驗，腦海不時冒出各種旋律，卻因對樂器一竅不通，無法將這些創意釋放出來？
今天 ，YouTube 和 Google DeepMind 強強聯合推出的新服務能讓你的創意和音樂實現無縫轉化。
在 Google DeepMind 提供的最復雜的 AI 音樂生成系統 Lyria 幫助下，YouTube 正在測試新的音樂生成功能：
僅用文本提示或者簡單哼唱幾句，AI 就能立刻生成一段引人入勝的音樂或歌曲。
最先推出的一個服務叫 Dream Track，可自動生成模仿某音樂人聲音、風格的 30 秒音樂曲目，甚至包括歌詞。
目前有 9 位流行音樂音樂人參與了這項合作，他們是 Alec Benjamin、Charlie Puth、Charli XCX、Demi Lovato、John Legend、Papoose、Sia、T-Pain 和Troye Sivan，以美國和澳洲歌手為主，饒舌說唱歌手相對多一點。
部分合作音樂人：Troye Sivan, Demi Lovato, John Legend （從左到右）
澳洲國寶級歌手 Sia 也在合作之列
Dream Track 用戶只需輸入提示，比如文字輸入 「佛羅里達州一個陽光明媚的早晨，R&B」（ R&B ，節奏布魯斯，一種曲風），再選擇美國饒舌歌手 T-Pain ：
馬上就能得到一段 30 秒的音樂，里面歌手的聲音是 T-Pain ，連歌詞都替你生成了（當然，你也可以自己寫）
這是音樂人美國歌手 Charlie Puth 風格的作品：
早在 9 月，YouTube 就宣布推出一項名為 Dream Screen 的服務，該功能可以自動生成視頻和照片用作背景。不過對于創作者來說，僅能自動生成視頻是不夠的，能為短片配上獨特的背景音樂才算圓滿。
現在， Dream Track 填補了這一缺失——Lyria 生成包含該藝術家 AI 生成聲音的原創 Shorts 配樂，供創作者使用。這也有利于 YouTube 與「宿敵」TikTok 競爭用戶。
YouTube Shorts 中試用 Dream Track
有短視頻創作者搶先體驗了一把 Charlie Puth 風格的創作，創作主題是她的寵物狗索爾：
除了 Dream Track ，強勁的 Lyria 模型還被用來構建今天宣布的第二個工具，名為 Music AI。
這是谷歌和與藝術家、歌曲作者和制作人一起設計的一套工具，輔助用戶音樂創作。比如，隨便唱一段旋律就能變成一段管弦樂演奏的曲子、將 MIDI鍵盤上的和弦變成真實合唱團的演唱或者給一段口技打擊樂配上鼓點。
在這個視頻中，制作人/詞曲作者 Louis Bell 只用幾句 balah~，外加一個文本提示（「薩克斯管獨奏」），就自動生成一段薩克斯管曲目，簡直不要太好聽：
將一段哼唱轉化為一段管弦樂：
將 MIDI 鍵盤和弦轉換為真實的合唱團人聲：
將類似口技的打擊節奏變成一段鼓循環：
YouTube 音樂 AI 工具的用戶界面
目前，YouTube 只挑選了約 100 位短視頻創作者試用這些功能，并表示 Music AI incubator的參與者能在晚些時候體驗到這些新工具。
在音樂生成領域，谷歌并不孤單。
Meta 在 6 月份開源了一款 AI 音樂生成器；Stability AI 也在 9 月推出了 Dance Diffusion，可以根據文本描述生成歌曲和聲音效果。像 Riffusion 這樣的初創公司也在為他們在這一領域的努力籌集資金。音樂界也在嘗試擁抱新技術。
不過，對于 AI 來說，創作引人入勝的音樂尤其具有挑戰性。音樂包含大量的信息，包括每一秒的節拍、音符還有和聲。當生成長序列聲音時，AI 模型很難在樂句、 副歌和章節段落之間保持音樂的連續性。由于音樂通常同時包含多種聲音和樂器，創作起來也比語音難得多。
Lyria 擅長使用器樂和人聲生成高質量的音樂，在轉換和保持音樂延續性方面做的不錯，能讓用戶更細致地控制輸出的風格和效果。
谷歌 DeepMind CEO 哈薩比斯表示，音樂生成的技能也是一個很好的例子說明大模型越來越具有「多模態」功能。OpenAI 的 ChatGPT 的最新版本除了文本之外還可以處理音頻和圖像。谷歌 DeepMind 正在開發自己的強大人工智能模型，稱為 Gemini，據傳具有多模式功能。
不過，使用 AI 模仿藝術家的聲音和風格的做法一直令人擔憂，也頗具風險。
今年早些時候，環球音樂集團提出版權侵權索賠，要求從 YouTube 和其他平臺上刪除一首席卷各社交媒體平臺的 AI 生成的歌曲「Heart on My Sleeve」，這首歌聽起來像是 Drake 和 「盆栽哥」之間的合作——盡管他們事實上根本沒有參與這首歌。
DeepMind 在博客文章中表示，使用 Lyria 創建的音軌將帶有 SynthID 水印，人耳聽不到，也不會影響聆聽體驗。
水印可以在修改音軌時保留下來，因此即使有人在音軌中添加了更多噪音，將其壓縮成 MP3 文件，理論上仍然可以分辨出是否包含來自 Lyria 的音頻。
SynthID 通過將音頻轉換為二維可視化圖譜來添加數字水印
打了水印音頻的波形動畫
發布這些新工具的幾天前，YouTube 宣布了針對人工智能生成的深度偽造的新內容指導方針，旨在保護人們，并最終保護該平臺的音樂行業合作伙伴。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
