新火種
2024-02-25 
谷歌AI新星轉投Pika：視頻生成Lumiere一作，擔任創始科學家
視頻生成進展如火如荼，Pika迎來一位大將——
谷歌研究員Omer Bar-Tal，擔任Pika創始科學家。
一個月前，還在谷歌以共同一作的身份發布視頻生成模型Lumiere，效果十分驚艷。
當時網友表示：谷歌加入視頻生成戰局，又有好戲可看了。
Stability AI CEO、谷歌前同事等在內一些業內人士送上了祝福。
Lumiere一作，剛碩士畢業
Omer Bar-Tal，2021年本科畢業于特拉維夫大學的數學與計算機系，隨后前往魏茨曼科學研究所攻讀計算機碩士，主要聚焦于圖像和視頻合成領域的研究。
其論文成果多次被頂會接收，比如Text2LIVE（ECCV 2022 Oral）、MultiDiffusion（ICML 2023）、TokenFlow（ICLR 2024）。
以TokenFlow為例，他們提出了一種框架，基于擴散模型實現文本驅動的視頻編輯，支持視頻編輯任務無需任何訓練或微調。
此次加盟Pika前，他曾是谷歌研究院以Student Researcher身份待了9個月，最終經過7個月的研究以共同一作身份推出了Lumiere。這時候碩士應該還沒有畢業。
Lumiere的創新點在于，提出了時空U-Net（STU-Net）架構：將視頻在空間和時間兩個維度同時進行下采樣和上采樣，在網絡的中間層得到視頻的壓縮時空表示。
在學習了3000萬視頻之后，Lumiere可支持文生視頻、視頻編輯修復、圖片轉視頻以及視頻風格化等多種功能。
當時Jeff Dean盛贊：多模態視頻生成革命正在發生。
威爾史密斯吃面（Pika版）
官宣加盟Pika消息之后，官方以及投資人等也送上了祝福。
前幾天，還有位Pika華人研究員Yilun Du發布了篇文章， 不過應該剛從MIT博士畢業（也可能還沒畢業），論文單位仍是MIT。
另外在官網還在繼續招人中。
— 完 —
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
