UCLA蔣陳凡夫團(tuán)隊新研究:在VR里控制3D物體,高斯?jié)姙R渲染
Vision Pro現(xiàn)在玩的太花了,什么時候能快進(jìn)到沉浸式玩3D游戲??
現(xiàn)在有個新研究,在VR里實時控制3D高斯?jié)姙R生成的物體,距離真正實現(xiàn)又前進(jìn)了一大步。
比如操作這個鐵馬,一不小心就鬼畜了……
再比如,調(diào)教了下這只烈狗。
來自UCLA人工智能和視覺計算實驗室蔣陳凡夫帶領(lǐng),還有港大、浙大、Style3D、CMU、猶他大學(xué)以及亞馬遜全華人,研究人員提出了一個VR系統(tǒng)VR-GS。
其中還看到了一個熟悉的圖形學(xué)大佬王華民。
具體來看看,是如何實現(xiàn)的。
在VR玩3D高斯?jié)姙R
在這項研究中,團(tuán)隊主要做了這三點貢獻(xiàn):
開發(fā)了高保真沉浸式的VR系統(tǒng),并做了廣泛評估。實時3D內(nèi)容交互:該系統(tǒng)的工程設(shè)計側(cè)重于以人為本。全面的系統(tǒng)集成,將3D高斯?jié)姙R、場景分割、圖像繪制、基于物理的實時求解器和新的渲染幾何嵌入算法等技術(shù)結(jié)合在了一起。
當(dāng)然,最核心的就是提出了物理感知交互式的VR系統(tǒng)VR-GS。
這個名字顧名思義,就是集成了3D高斯?jié)姙R(GS)和基于位置的擴展動力學(xué)(XPBD)。后者是一個高度適應(yīng)性和一致性的物理模擬器,用于實時變形模擬。
由于模擬和渲染過程具有不同的幾何表現(xiàn)形式,因此很難將模擬器直接集成到3D高斯內(nèi)核中。
為了解決這一難題,研究人員構(gòu)建了一個四面體籠,將每個分段的高斯內(nèi)核組嵌入到相應(yīng)的網(wǎng)格中。由 XPBD 驅(qū)動的變形網(wǎng)格隨后引導(dǎo) GS 內(nèi)核的變形。
從多視角圖像開始,該流水線巧妙地將場景重建、分割和使用高斯核的修復(fù)結(jié)合在一起,除此之外,還進(jìn)一步融合了碰撞檢測、陰影投射等技術(shù)。
另外,他們還注意到,簡單的嵌入會導(dǎo)致高斯內(nèi)核出現(xiàn)一些尖峰偽影的問題。
因此提出了一種兩級嵌入方法,每個高斯核被嵌入到一個局部四面體中,局部四面體的頂點被獨立嵌入到全局網(wǎng)格中。
區(qū)別還是比較明顯的。
最終用戶反饋中,在包括易用性、延遲滿意度、系統(tǒng)功能和總體滿意度等方面都獲得了積極的評價。
研究團(tuán)隊
本項研究由UCLA、港大、浙大、Style3D、猶他大學(xué)、CMU以及亞馬遜等機構(gòu)的研究人員完成。
其中來自UCLA人工智能和視覺計算實驗室蔣陳凡夫帶領(lǐng),Ying Jiang、Chang Yu、Tianyi Xie、Xuan Li做出同等貢獻(xiàn)。
- 免責(zé)聲明
- 本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認(rèn)可。 交易和投資涉及高風(fēng)險,讀者在采取與本文內(nèi)容相關(guān)的任何行動之前,請務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。