新火種
2024-12-04 
剛剛，李飛飛創業首個項目引圍觀：單圖生成交互3D場景，空間智能來了
這是空間智能的第一步。
「無論怎樣理論化，我們還是很難用語言來描述與照片或句子生成的 3D 場景交互的體驗，」李飛飛說道。
北京時間今天凌晨，著名 AI 學者、斯坦福大學教授李飛飛公布了她的第一個創業項目。這是一個能用單張圖片、一句話生成 3D 世界的神奇項目。
生成式 AI，從此進入了 3D 化、完全沉浸式的新時代。
只用一張圖生成的 3D 世界會有多精細？World Labs 表示，效果是這樣的：
這里是更多效果展示：
此前，我們已經見證了一系列會制作 2D 內容的生成式 AI 工具，它們可以輸出圖像或視頻。相比之下，生成 3D 內容的方法并不多見。直接生成 3D 內容可以提高對內容的控制力和一致性，這將改變我們制作電影、游戲、模擬器和其他物理世界數字表現的方式。
網友紛紛看好 World Labs 的首個項目，認為它既看起來炫酷，又很有前景。
紐約大學助理教授謝賽寧表示，「想象是生成式的，控制是 3D 的。」
的確，當我們把 AI 生成的內容提升到 3D 物體層面上之后，「想象力」與可操作性終于得到了統一，這就為以后的無數應用打開了大門。
在 World Labs 的博客中，團隊展示了他們如何探索 3D 生成式世界，并在瀏覽器中實時呈現，包括相機效果、3D 效果和經典繪畫。
探索世界
下面展示了由奇幻圖片和日常照片生成的 3D 世界一些官方示例。
相機效果
一旦場景生成完，之后會使用虛擬相機在瀏覽器中實時渲染。精確控制該相機可實現藝術攝影效果。
可以模擬景深，只有距離相機一定距離的物體才能聚焦：
還可以模擬滑動變焦，同時調整攝像機的位置和視野：
3D 效果
大多數生成模型預測像素，但預測 3D 場景有很多優勢：
持久現實：一旦生成一個世界，它就會一直存在。即使你移開視線再回來，場景也不會改變。實時控制：生成場景后，你可以在場景中實時移動。你可以停留在一朵花的細節上，也可以窺探角落里的一舉一動。正確的幾何形狀：生成的世界符合三維幾何的基本物理規則。它們具有實體感和深度感，與某些人工智能生成的視頻的夢幻性質形成鮮明對比。可視化 3D 場景的最簡單方法是繪制深度圖，其中每個像素都按其與攝像頭的距離著色：
我們可以利用 3D 場景結構來構建交互效果：
還可以構建特效，讓場景活躍起來：
走進世界名畫
World generation 還有一個應用方式：體驗標志性藝術作品。這里是根據梵高、霍珀、修拉和康定斯基的最愛作品生成的，模型沒有生成原畫之外的任何東西。
創意工作流
World Labs 讓 3D 世界生成自然地與其他 AI 工具組合在一起。這使得創作者可以使用他們已知的工具來實現新的體驗。
例如，可以通過首先使用文本到圖像模型生成圖像來從文本創建世界。不同的模型有自己的風格，World Labs 生成的 3D 世界可以繼承這些風格。
例如，使用不同的文本到圖像模型生成同一場景的四個變體，全部使用相同的提示：
一間充滿活力的卡通風格的青少年臥室，里面有一張鋪著彩色毯子的床，一張雜亂的桌子，上面有一臺電腦，墻上貼著海報，還有散落的運動裝備。一把吉他靠在墻上，中間是一張舒適的帶圖案的地毯。窗外的光線為房間增添了溫暖、年輕的氛圍。
World Labs 已經讓一些創作者提前了解了技術，開始嘗試 3D 原生生成 AI 工作流帶來的可能性。Eric Solorio 展示了 World Labs 的模型如何填補其創意工作流中的空白，使場景中的角色輕松上演并指導精確的攝像機移動：
Brittani Natali 使用將 World Labs 技術與 Midjourney、Runway、Suno、ElevenLabs、Blender 和 CapCut 等工具相結合的工作流程，在生成的世界中精心設計了攝像機路徑，以喚起三部短片的不同情緒：
最后，World Labs 表示這些結果是他們生成 3D 世界的第一個早期預覽。他們正在努力改善生成的世界的大小和保真度，并嘗試用戶與其交互的新方式。對此，你怎么看？
參考鏈接：https://www.worldlabs.ai/blog
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
