九九热视频精品在线_国产成人mv视频在线观看_国产精品三级一区二区_亚洲精品国产av成拍色拍婷婷_久久伊人一区二区_国产高清精品网站_九九99热久久精品离线6_国产在线一卡2卡三卡4卡免费_日韩美女乱淫aaa高清视频_亚洲大胆_啪啪一级视频_午夜av免费观看_国产高清精品福利私拍国产写真_亚洲婷婷五月综合狠狠_日韩欧美一区二区三区视频_岛国av免费看_精品国产乱码久久久久久久软件_亚洲国产成人精品无码区99_www日本色_免费黄色看片

在計算圖形學(xué)領(lǐng)域，材質(zhì)外觀刻畫了真實物體與光線之間的復(fù)雜物理交互，通?？杀磉_為隨空間位置變化的雙向反射分布函數(shù)（Spatially-Varying Bidirectional Reflectance Distribution Function，縮寫為 SVBRDF）。它是視覺計算中不可或缺的組成部分，在文化遺產(chǎn)、電子商務(wù)、電子游戲和視覺特效等領(lǐng)域中有著廣泛的應(yīng)用。在過去的二十年里，特別是深度學(xué)習(xí)流行后，學(xué)術(shù)界與工業(yè)界對高精度、多樣化數(shù)字材質(zhì)外觀的需求不斷增加。但由于技術(shù)上的挑戰(zhàn)，采集大型數(shù)據(jù)庫仍然十分困難，目前公開可用的材質(zhì)外觀實拍數(shù)據(jù)庫的數(shù)量非常有限。為此，浙江大學(xué)計算機輔助設(shè)計與圖形系統(tǒng)全國重點實驗室和杭州相芯科技有限公司的研究團隊聯(lián)合提出了一種新型集成系統(tǒng)，用于魯棒、高質(zhì)量和高效地采集平面各向異性材質(zhì)外觀。利用該系統(tǒng)，研究團隊構(gòu)建了OpenSVBRDF 公開材質(zhì)數(shù)據(jù)庫。

圖 1：OpenSVBRDF 數(shù)據(jù)庫中的部分材質(zhì)樣例展示。每一行同屬一個材質(zhì)類別。這是第一個大規(guī)模 6 維 SVBRDF 的實測數(shù)據(jù)庫，共有 1,000 個高質(zhì)量平面樣本，空間分辨率為 1,024×1,024，等效為超過 10 億個實測 BRDF，涵蓋了包括木材、織物和金屬在內(nèi)的 9 種類別。目前，數(shù)據(jù)庫對非商業(yè)應(yīng)用完全免費。只需要提交基本信息在網(wǎng)站上申請賬號，通過審核后，即可直接下載包括 GGX 紋理貼圖在內(nèi)的相關(guān)數(shù)據(jù)和代碼。相關(guān)研究論文《OpenSVBRDF: A Database of Measured Spatially-Varying Reflectance》已被計算機圖形學(xué)頂級國際會議 ACM SIGGRAPH ASIA 2023 (Journal Track) 長文接收。

技術(shù)挑戰(zhàn)直接采樣方法在不同的光照和觀察角度的組合下對物理材質(zhì)進行密集測量[Lawrence et al. 2006]。這么做雖然能夠獲得高質(zhì)量且魯棒的采集結(jié)果，但其效率很低，需要高昂的時間和存儲成本。還有一種選擇是基于先驗知識的重建方法，可以從稀疏的采樣數(shù)據(jù)中重建材質(zhì)。這樣雖然提高了效率，但當(dāng)先驗條件不滿足時，其質(zhì)量不盡人意 [Nam et al. 2018]。此外，當(dāng)前SOTA光路復(fù)用技術(shù)，雖然達到了較高的采集效率和重建質(zhì)量，但在處理如拉絲金屬和拋光木皮等高度復(fù)雜材質(zhì)時，算法還不夠魯棒 [Kang et al. 2018]。圖 2：現(xiàn)有材質(zhì)采集研究的代表工作。從左到右分別是 [Lawrence et al. 2006]，[Nam et al. 2018] 以及 [Kang et al. 2018]。其中 [Kang et al. 2018] 為該團隊在 2018 年發(fā)表于 ACM SIGGRAPH 的早期工作。硬件為高效掃描材質(zhì)外觀，研究團隊搭建了一個接近半立方體的近場光照多路復(fù)用設(shè)備，其尺寸約為 70cm×70cm×40cm。樣本被放置在一塊透明的亞克力板上，可以通過抽屜滑軌快速滑入 / 滑出，來實現(xiàn)高吞吐率。該設(shè)備由 2 臺機器視覺相機和 16,384 個高亮度 LED 組成，兩臺相機分別從大約 90 度（主視角）和 45 度（次視角）的角度拍攝樣本，LED 分布在設(shè)備的 6 個面上。自主研發(fā)的高性能控制電路負責(zé)對每個 LED 進行獨立亮度控制，并在硬件層面實現(xiàn)了光源投射和相機曝光的高精度同步。

圖 3：采集設(shè)備外觀及兩個視角下的照片。采集重建本系統(tǒng)創(chuàng)新性地結(jié)合了當(dāng)前基于網(wǎng)絡(luò)預(yù)測和基于微調(diào)兩大類流行方法的優(yōu)點，既能通過可微分光照圖案優(yōu)化來增加物理采集效率，又能通過微調(diào)來進一步提升最終結(jié)果質(zhì)量，從而首次實現(xiàn)了對于平面 SVBRDF 的高魯棒性、高質(zhì)量以及高效率的采集重建。具體來說，為了重建物理樣本，研究者首先通過在均勻照明下匹配密集 SIFT 特征來建立兩個相機視角之間的高精度對應(yīng)關(guān)系。對于物理采集，首先將光照圖案作為自編碼器的一部分進行優(yōu)化，實現(xiàn)高效采集。該自編碼器自動學(xué)習(xí)如何基于兩個視角的測量值來重建復(fù)雜外觀，并將結(jié)果表示為中間神經(jīng)表達。隨后，根據(jù)主視角相機在 63 個等效線性光源下拍攝的照片，通過繪制圖像誤差對神經(jīng)表達進行微調(diào)，以提高最終結(jié)果的質(zhì)量和魯棒性。圖 3 展示了整個系統(tǒng)的處理流程。更多詳細信息請參閱原文論文。

圖 4：整個系統(tǒng)的采集重建流程。結(jié)果研究人員共采集重建了 9 個類別，共計 1,000 個樣本的外觀，為了方便基于物理的標(biāo)準(zhǔn)繪制管線（PBR）直接使用，該研究還將神經(jīng)表達擬合到了業(yè)界標(biāo)準(zhǔn)的各向異性 GGX BRDF 模型參數(shù)。圖 5 展示了材質(zhì)重建結(jié)果的分項參數(shù) / 屬性。每個樣本存儲了 193 張原始 HDR 照片（總大小 15GB）、中間神經(jīng)表達（290MB），以及 6 張貼圖，包括表示 GGX 參數(shù)的紋理貼圖和透明度貼圖（總大小 55MB）。神經(jīng)表達和紋理貼圖的空間分辨率均為 1,024×1,024。

圖 5：材質(zhì)重建結(jié)果分項屬性（包括神經(jīng)表達、漫反射率、高光反射率、粗糙度等）。為了證明重建結(jié)果的正確性，研究人員將主視角下的照片（下圖第一行）和神經(jīng)表達繪制結(jié)果（下圖第二行）進行了比較。定量誤差（以 SSIM/PSNR 表達）標(biāo)注在繪制圖片的底部。由下圖結(jié)果可見，本系統(tǒng)實現(xiàn)了高質(zhì)量材質(zhì)重建（SSIM>=0.97, PSNR>=34db）。

圖 6：實拍照片和神經(jīng)表達繪制結(jié)果在主視角下的對比。為了進一步證明重建結(jié)果的視角域泛化性，研究人員將點光源照射下、兩個視角所拍攝的照片和使用 GGX 擬合參數(shù)繪制的結(jié)果進行了比較，驗證了重建結(jié)果的跨視角正確性。

圖 7：實拍照片和各向異性 GGX 擬合參數(shù)繪制結(jié)果在兩個視角下的對比。研究人員還展示了該數(shù)據(jù)庫在材質(zhì)生成、材質(zhì)分類以及材質(zhì)重建三方面的應(yīng)用。具體細節(jié)請參考原始論文。

圖 8：利用 OpenSVBRDF 訓(xùn)練 MaterialGAN 來實現(xiàn)材質(zhì)生成與插值。

圖 9：利用 OpenSVBRDF 訓(xùn)練主動光照以提升材質(zhì)分類精度。

圖 10：利用 OpenSVBRDF 來提高基于單點采樣（左）和光路多路復(fù)用（右）的 BRDF 重建質(zhì)量。展望研究人員將努力擴展現(xiàn)有數(shù)據(jù)庫，增加展現(xiàn)多樣性外觀的材質(zhì)樣本。未來，他們還計劃建立同時包含材質(zhì)外觀和幾何形狀的大規(guī)模高精度實測物體數(shù)據(jù)庫。此外，研究人員將基于 OpenSVBRDF 設(shè)計在材質(zhì)估計、分類和生成等方向上的公開 Benchmark，通過客觀定量的標(biāo)準(zhǔn)測試，為推動相關(guān)研究的未來發(fā)展提供堅實的數(shù)據(jù)保障。