新火種
2023-09-20 
元宇宙建設添利器Meta強推視覺大模型多模態AI有望加速發展
《科創板日報》4月21日訊（編輯 宋子喬） 在AI大模型競賽中，Meta選擇重押視覺模型，繼推出零樣本分割一切的SAM后，扎克伯格親自官宣了重量級開源項目DINOv2。
據介紹，DINOv2是計算機視覺領域的預訓練大模型，模型參數量是10億級，采用Transformer架構，能在語義分割、圖像檢索和深度估計等方面實現自監督訓練，不需微調即可用于多種下游任務，可以被用于改善醫學成像、糧食作物生長、地圖繪制等。
DINOv2 用于語義分割，將圖中每個像素劃分類別DINOv2 用于圖像檢索，查找與給定圖像相關的圖DINOv2用于深度估計，給出圖中物體到鏡頭的距離信息DINOv2有何亮點？
主要體現在兩方面——DINOv2可以為大語言模型提供豐富的圖像特征，有助于完善多模態GPT應用；其蒸餾成小模型后效果依然優秀，便于在各種邊緣場景及本地化落地。
對于前者，Meta已表示計劃將DINOv2集成到更大、更復雜的AI系統中，作為視覺主干提供豐富的圖像特征與大型語言模型進行交互。
國盛證券分析師劉高暢表示，DINOv2能比用圖像文本對做訓練的模型得到更豐富的圖像特征，這將讓整個系統能更好地理解圖像，對多模態AI的發展起到加速作用。
值得注意的是，多模態技術還能助力游戲內容與元宇宙構造，隨著AR/VR技術的發展，未來將能構建逼真的虛擬現實。扎克伯格就強調，DINOv2可以極大地加持元宇宙的建設，讓用戶在元宇宙中的沉浸體驗更出色。
上述分析師大膽預測，1-5年內，隨著多模態的發展帶來AI泛化能力提升，通用視覺、通用機械臂、通用物流搬運機器人、行業服務機器人、真正的智能家居會進入生活。未來5-10年內，結合復雜多模態方案的大模型有望具備完備的與世界交互的能力，在通用機器人、虛擬現實等領域得到應用。
對于邊緣場景落地，簡單來說是指將大模型移植到移動端或是算力有限的場景。
運行大型的模型需要強大的硬件，這可能會限制模型在C端場景的應用，為大模型“瘦身”成了手機等移動終端運行大模型的前提，其技術路徑多樣，包括通過剪枝讓模型稀疏化、知識蒸餾對模型進行壓縮、通過權重共享來減少參數量等。
DINOv2即采用模型蒸餾的方式，將大型模型的知識壓縮為較小的模型，從而降低推理時的硬件要求。據官方介紹，Meta開源了多個不同參數規模的預訓練模型，在相同的規模下比較，DINOv2在多種測試基準的得分都能優于目前開源視覺模型中表現最好的OpenCLIP。
Meta之外，高通、華為等科技巨頭也在致力于實現AI大模型在終端的輕量化部署，谷歌、騰訊、百度等已將模型壓縮技術緊密結合移動端模型部署框架/工具。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
