新火種
2023-11-13 
華人團隊獲最佳論文、最佳系統論文，CoRL獲獎論文出爐
聚焦大模型+機器人。
自 2017 年首次舉辦以來，CoRL 已經成為了機器人學與機器學習交叉領域的全球頂級學術會議之一。CoRL 是面向機器人學習研究的 single-track 會議，涵蓋機器人學、機器學習和控制等多個主題，包括理論與應用。
2023 年的 CoRL 大會于 11 月 6 日至 9 日在美國亞特蘭大舉行。據官方數據透露，今年來自 25 個國家的 199 篇論文入選 CoRL，熱門主題包括 manipulation、強化學習等。雖然相比于 AAAI、CVPR 等大型 AI 學術會議，CoRL 的會議規模還相對小很多，但隨著今年大模型、具身智能、人形機器人等概念的火熱，CoRL 會議上的相關研究也非常值得關注。
目前，CoRL 2023 官方已公布最佳論文獎、最佳學生論文獎、最佳系統論文獎等獎項。接下來，我們將為大家介紹一下這些獲獎論文。
最佳論文
論文：Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation
作者：William Shen, Ge Yang, Alan Yu, Jensen Wong, Leslie Pack Kaelbling, Phillip Isola
機構：MIT CSAIL、IAIFI
論文簡介：當前，自監督和語言監督的圖像模型已經包含豐富的世界知識，這對于泛化來說非常重要，但圖像特征是二維的。我們知道，機器人任務通常需要對現實世界中三維物體的幾何形狀有所了解。
該研究利用蒸餾特征場（Distilled Feature Field，DFF），將準確的 3D 幾何圖形與來自 2D 基礎模型的豐富語義結合起來，讓機器人能夠利用 2D 基礎模型中豐富的視覺和語言先驗，完成語言指導的操作。
具體來說，該研究提出了一種用于 6-DOF 抓取和放置的小樣本學習方法，并利用強大的空間和語義先驗泛化到未見過物體上。使用從視覺 - 語言模型 CLIP 中提取的特征，該研究提出了一種通過開放性的自然語言指令對新物體進行操作，并展示了這種方法泛化到未見過的表達和新型物體的能力。
這篇論文的兩位共同一作是 CSAIL 「具身智能」團隊的成員 William Shen 和楊歌，其中楊歌是 2023 年 CSAIL 具身智能研討會的共同籌辦人。
機器之心曾詳細介紹過這篇研究，請參考《大模型加持的機器人有多強，MIT CSAIL&IAIFI 用自然語言指導機器人抓取物體》。
最佳學生論文
論文：Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners
作者：Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar
機構：普林斯頓大學、Google DeepMind
論文簡介：從逐步規劃到常識推理，大型語言模型（LLM）展現出大量在機器人領域未來可期的能力，但 LLM 存在幻覺問題。
基于此，該研究提出了一種新框架 ——KnowNo，用于度量和對齊基于 LLM 的規劃器的不確定性。它能夠使 LLM 意識到哪些信息是未知的，并在有需要時求助。
KnowNo 建立在共形預測（conformal prediction）理論的基礎上，為任務完成提供統計保證，同時能夠最大限度地減少多步驟規劃任務中的人工干預。
該研究在各種模擬和真實機器人實驗中，用各種模式的不確定任務（包括空間不確定性、數字不確定性等等）對 KnowNo 進行了測試。實驗結果表明， KnowNo 在提高效率和自主性方面表現出色，優于基線，并且安全可信。KnowNo 能夠在不進行模型微調的情況下直接用于 LLM，為模型的不確定性提供了一種有效的輕量級解決方法，并能夠與基礎模型不斷增強的能力相輔相成。
最佳系統論文
論文：RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools
作者：Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu
機構：斯坦福大學、UIUC
論文簡介：人類擅長制造和使用各種工具，但對于機器人而言，理解如何有效使用工具，并在相應的物體上完成操作仍然是一個很大的挑戰。該研究構建了一個名為 RoboCook 的智能機器人系統，該系統能夠通過各種工具感知、建模并操縱彈塑性物體（elasto-plastic object）。
RoboCook 使用點云場景表征，利用圖神經網絡（GNN）對工具與物體的相互作用進行建模，并將工具分類與自監督策略學習相結合，以制定操作計劃。
該研究表明，對于每個工具，僅需 20 分鐘的現實世界交互數據，RoboCook 就能學會并操縱機械臂完成一些復雜的、長時程的彈塑性物體操作任務，例如制作餃子、字母餅干等。
實驗表明，RoboCook 的性能大大優于現有 SOTA 方法，對嚴重的外部干擾也能表現出穩健性，對不同材料的適應性也較強。
值得一提的是，這篇論文的共同一作分別是來自斯坦福大學的博士生 Haochen Shi、原斯坦福大學博士后研究員、現清華大學交叉信息科學研究所助理教授 Huazhe Xu，論文作者之一是姚班校友、斯坦福大學助理教授吳佳俊。
獲獎論文完整入圍名單
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
