新火種
2024-11-16 
在機器人頂會RSS2024上，中國的人形機器人研究斬獲最佳論文獎
近日，機器人領域著名會議 RSS（Robotics: Science and Systems） 2024 在荷蘭代爾夫特理工大學圓滿落幕。
盡管會議規模與 NeurIPS、CVPR 等 AI 頂會無法比肩，但 RSS 在過去幾年中取得了長足的發展，今年的參會人數接近 900 人。
在大會的最后一天，最佳論文、最佳學生論文、最佳系統論文、最佳 Demo 論文等多個獎項同時出爐。此外，大會還評選出了「早期職業 Spotlight 獎」和「時間檢驗獎」。
值得注意的是，來自清華大學和北京星動紀元科技有限公司的人形機器人研究獲得了最佳論文獎，華人學者 Ji Zhang 獲得了本次時間檢驗獎。
以下是獲獎論文信息介紹：
最佳 Demo 論文獎
論文標題：Demonstrating CropFollow++: Robust Under-Canopy Navigation with Keypoints
作者：Arun Narenthiran Sivakumar, Mateus Valverde Gasparino, Michael McGuire, Vitor Akihiro Hisano Higuti, M. Ugur Akcal, Girish Chowdhary
機構：UIUC、Earth Sense
論文鏈接：https://enriquecoronadozu.github.io/rssproceedings2024/rss20/p023.pdf
在這篇論文中，研究者提出了一種基于經驗的魯棒性視覺導航系統，用于使用語義關鍵點的作物冠下農業機器人。
由于作物行間距較?。ā?0.75 米）、多徑誤差導致 RTK-GPS 精度下降以及雜波過多導致激光雷達測量產生噪聲，作物冠下的自主導航具有挑戰性。早期名為 CropFollow 的工作通過提出一種基于學習的端到端感知視覺導航系統來應對這些挑戰。然而，這種方法存在以下局限性：缺乏可解釋的表征，以及由于置信度不夠缺乏在遮擋期間對離群預測的敏感性。
本文系統 CropFollow++ 引入了模塊化感知架構和學習的語義關鍵點表示法。與 CropFollow 相比，CropFollow++ 的模塊化程度更高、可解釋性更強，并提供了檢測閉塞的置信度。CropFollow++ 在具有挑戰性的晚季田間測試中的表現明顯優于 CropFollow，每個田間測試跨度達 1.9 千米，所需的碰撞次數為 13 次對 33 次。研究者還在不同的田間條件下，將 CropFollow++ 大規模部署在多個作物冠下覆蓋作物種植機器人中（總長 25 公里），并討論了從中汲取的主要經驗教訓。
論文標題：Demonstrating Agile Flight from Pixels without State Estimation
作者：smail Geles, Leonard Bauersfeld, Angel Romero, Jiaxu Xing, Davide Scaramuzza
論文鏈接：https://enriquecoronadozu.github.io/rssproceedings2024/rss20/p082.pdf
四旋翼無人機是最敏捷的飛行機器人之一。盡管最近的一些研究在基于學習的控制和計算機視覺方面取得了進步，但自主無人機仍然依賴于明確的狀態估計。另一方面，人類飛行員只能依靠無人機機載攝像頭提供的第一人稱視角的視頻流將平臺推向極限，并在看不見的環境中穩健飛行。
本文展示了首個基于視覺的四旋翼無人機系統，該系統可在直接將像素映射到控制指令的同時，自主高速通過一連串門。與專業的無人機賽車手一樣，該系統不使用明確的狀態估計，而是利用與人類相同的控制指令（集體推力和身體速率）。研究者展示了速度高達 40km/h 且加速度高達 2g 的敏捷飛行。這是通過強化學習（RL）訓練基于視覺的策略實現的。使用非對稱的 Actor-Critic 可以獲取特權信息，為訓練提供便利。為了克服基于圖像的 RL 訓練過程中的計算復雜性，研究者使用門的內邊緣作為傳感器抽象。在訓練過程中，無需渲染圖像就能模擬這種簡單而強大的任務相關表示法。在部署過程中，研究者使用了基于 Swin Transformer 的門檢測器。
本文方法可以利用標準的、現成的硬件實現自主敏捷飛行。雖然演示側重于無人機競賽，但該方法的影響已經超出了競賽范圍，可以作為未來研究結構化環境中真實世界應用的基礎。
最佳系統論文獎
論文標題：Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots
Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song
機構：斯坦福大學、哥倫比亞大學、豐田研究院
論文鏈接：https://arxiv.org/pdf/2402.10329
本文介紹了通用操縱界面（UMI），一種數據收集和策略學習框架，可將野外人類演示的技能直接轉移到可部署的機器人策略中。UMI 采用手持式抓手和精心的界面設計，可為具有挑戰性的雙臂和動態操縱演示提供便攜式、低成本和信息豐富的數據收集。為了促進可部署的策略學習，UMI 采用了精心設計的策略界面，具有推理時間延遲匹配和相對軌跡動作表示功能。學習到的策略與硬件無關，可在多個機器人平臺上部署。有了這些功能，UMI 框架就能釋放新的機器人操縱能力，只需改變每個任務的訓練數據，就能實現零樣本泛化動態、雙臂、精確和長視野行為。研究者通過全面的真實世界實驗證明了 UMI 的多功能性和有效性，在這些實驗中，通過 UMI 零射頻學習到的策略在不同的人類演示訓練中可泛化到新的環境和物體。
論文標題：Khronos: A Unified Approach for Spatio-Temporal Metric-Semantic SLAM in Dynamic Environments
作者：Lukas Schmid, Marcus Abate, Yun Chang, Luca Carlone
論文鏈接：https://arxiv.org/pdf/2402.13817
感知和理解高度動態和不斷變化的環境是機器人自主性的關鍵能力。雖然在開發能準確估計機器人姿態的動態 SLAM 方法方面取得了長足進步，但在構建密集的機器人環境時空表征方面卻重視不夠。詳細了解場景及其隨時間的演變對于機器人的長期自主性至關重要，對于需要長期推理的任務也至關重要，例如在與人類和其他 Agent 共享的環境中有效運行，因此會受到短期和長期動態變化的影響。
為了應對這一挑戰，這項研究定義了時空度量 - 語義 SLAM（SMS）問題，并提出了一個有效分解和解決該問題的框架。研究表明，所提出的因子化建議了一種時空感知系統的自然組織形式，其中一個快速進程跟蹤活動時間窗口中的短期動態，而另一個慢速進程則利用因子圖表述對環境中的長期變化進行推理。研究者提供了一種高效的時空感知方法 Khronos，并證明它統一了對短期和長期動態的現有解釋，能夠實時構建密集的時空地圖。
論文提供的模擬和實際結果表明，Khronos 構建的時空地圖能夠準確反映三維場景的時間變化，而且 Khronos 在多個指標上都優于基線。
最佳學生論文獎
論文標題：Dynamic On-Palm Manipulation via Controlled Sliding
作者：William Yang, Michael Posa
機構：賓夕法尼亞大學
論文鏈接：https://arxiv.org/pdf/2405.08731
當前，對機器人執行非抓取性動作的研究主要集中在靜態接觸上，以規避滑動可能帶來的問題。但是，如果根本上消除了「手滑」的問題，即能控制接觸時的滑動，這將為機器人能做的動作開辟新領域。
在這篇論文中，研究者提出了一項挑戰性的動態非抓取操作任務，該任務需要綜合考慮各種混合接觸模式。研究者采用了最新的隱式接觸模型預測控制（MPC）技術，幫助機器人進行多模式規劃，以完成各項任務。論文詳細探討了如何將用于 MPC 的簡化模型與低級跟蹤控制器相整合，以及如何使隱式接觸 MPC 適應于動態任務的需求。
令人印象深刻的是，盡管眾所周知，摩擦和剛性接觸模型往往不準確，但這篇論文的方法能夠對這些不準確性做出靈敏反應，同時快速完成任務。而且，研究者沒有使用于常見的輔助工具，例如參考軌跡或運動基元輔助機器人完成任務，這進一步凸顯了該方法的通用性。這是隱式接觸 MPC 技術首次被應用于三維空間中的動態操作任務。
論文標題：Agile But Safe: Learning Collision-Free High-Speed Legged Locomotion
作者：Tairan He, Chong Zhang, Wenli Xiao, Guanqi He, Changliu Liu, Guanya Shi
機構：CMU、瑞士蘇黎世聯邦理工學院
論文鏈接：https://arxiv.org/pdf/2401.17583
四足機器人在雜亂的環境中穿行時，需要同時具備靈活性和安全性。它們需要既能夠敏捷地完成任務，又要避免與人或障礙物相撞。不過，現有的研究往往只注重其中一方面：要么是為了安全而設計速度不超過 1.0 米 / 秒的保守控制器，要么是追求靈活性卻忽視了可能致命的碰撞問題。
這篇論文提出了一種名為「既敏捷又安全」的控制框架。這個框架讓四足機器人在保持靈活性的同時，也能安全地避開障礙物和人，實現無碰撞的行走。
ABS 包括兩套策略：一套是教機器人如何在障礙物之間靈活敏捷地穿梭，另一套則是萬一遇到問題，如何快速恢復，保證機器人不會摔倒或者撞到東西。兩套策略互相配合。
在 ABS 系統中，策略的切換由一個基于學習型控制理論的避碰價值網絡來控制。這個網絡不僅決定了何時切換策略，還為恢復策略提供了一個目標函數，確保機器人在閉環控制系統中始終保持安全。通過這種方式，機器人能夠在復雜環境中靈活應對各種情況。
為了訓練這些策略和網絡，研究者們在模擬環境中進行了大量訓練，包括敏捷策略、避碰價值網絡、恢復策略，以及外部感知表示網絡等等。這些經過訓練的模塊可以直接應用到現實世界中，配合機器人自身的感知和計算能力，無論機器人是在室內還是受限的室外空間，無論是面對不會動的還是能動的障礙物，都能在 ABS 框架下快速、安全地行動。
想了解更多細節，可以參考此前機器之心對這篇論文的介紹。
論文標題：ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection
作者：Arpit Bahety, Priyanka Mandikal, Ben Abbatematteo, Roberto Martín-Martín
機構：得克薩斯大學奧斯汀分校
論文鏈接：https://arxiv.org/pdf/2405.03666
如果要教一個機器人如何用兩只手同時做某件事情，比如同時打開一個盒子，實際上很困難。因為機器人需要同時控制很多關節，還要確保兩只手的動作協調一致。對于人類，人們會通過觀察別人，學會新的動作，再自己嘗試并不斷改進。在這篇論文中，研究者參考人類學習的方法，讓機器人也能通過看視頻學習新技能，并且在實踐中提高。
研究者們從心理學和生物力學的研究中得到靈感，他們把兩只手的動作想象成一種特殊的鏈條，這種鏈條可以像螺絲一樣旋轉，稱之為「螺旋動作」?；诖?，他們開發了一個名為 ScrewMimic 的系統。這個系統可以幫助機器人更好地理解人類的演示，并通過自我監督來改進動作。通過實驗，研究者們發現 ScrewMimic 系統能幫助機器人從一段視頻中學習到復雜的雙手操作技能，并在性能上超越了那些直接在原始動作空間中進行學習和改進的系統。
ScrewMimic 的方法示意圖
最佳論文獎
論文標題：Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning
作者：Xinyang Gu, Yen-Jen Wang, Xiang Zhu, Chengming Shi, Yanjiang Guo, Yichen Liu, Jianyu Chen
機構：北京星動紀元科技有限公司、清華大學
論文鏈接：https://enriquecoronadozu.github.io/rssproceedings2024/rss20/p058.pdf
當前技術只能讓人形機器人在平坦地面，此類簡單的地形上行走。然而，讓它們在復雜環境，如真實的戶外場景中自如行動，仍很困難。在這篇論文中，研究者們提出了一種名為去噪世界模型學習（DWL）的新方法。
DWL 是一個用于人形機器人的運動控制的端到端的強化學習框架。這一框架使機器人能夠適應各種不平坦且具有挑戰性的地形，例如雪地、斜坡和樓梯。值得一提的是，這些機器人僅需一次學習過程，無需額外的特別訓練，便能在現實世界中自如應對多樣化的地形挑戰。
這項研究由北京星動紀元科技有限公司和清華大學聯合完成。星動紀元成立于 2023 年，是一家由清華大學交叉信息研究院孵化，研發具身智能以及通用人形機器人技術和產品的科技公司，創始人為清華大學交叉信息研究院助理教授、博導陳建宇，聚焦于通用人工智能 (AGI) 前沿應用，致力于研發適應寬領域、多情景、高智能的通用人形機器人。
論文標題：Real-Time Anomaly Detection and Reactive Planning with Large Language Models
作者：Rohan Sinha, Amine Elhafsi, Christopher Agia, Matt Foutter, Edward Schmerling, Marco Pavone
機構：斯坦福大學
論文鏈接：https://arxiv.org/pdf/2407.08735
大型語言模型（LLM），具有零樣本的泛化能力，這使得它們有希望成為檢測和排除機器人系統分布外故障的技術。然而，想讓大型語言模型真正發揮作用，需要解決兩個難題：首先，LLM 需要很多計算資源才能在線應用；其次，需要讓 LLM 的判斷能夠融入到機器人的安全控制系統中。
在這篇論文中，研究者提出了一個兩階段的推理框架：對于第一階段，他們設計了一個快速的異常檢測器，它能在 LLM 的理解空間里迅速分析對機器人的觀察結果；如果發現問題，就會進入下一個備選選擇階段。在這個階段，將采用 LLM 的推理能力，進行更深入的分析。
進入哪個階段對應于模型預測控制策略中的分支點，這個策略能夠同時跟蹤并評估不同的備選計劃，以解決慢速推理器的延遲問題。一旦系統檢測到任何異?；騿栴}，這個策略會立即啟動，確保機器人的行動是安全的。
這篇論文中的快速異常分類器在性能上超越了使用最先進的 GPT 模型的自回歸推理，即使在使用相對較小的語言模型時也是如此。這使得論文中提出的實時監控器能夠在有限的資源和時間下，例如四旋翼無人機和無人駕駛汽車中，提高動態機器人的可靠性。
論文題目：Configuration Space Distance Fields for Manipulation Planning
作者：Yiming Li, Xuemin Chi, Amirreza Razmjoo, Sylvain Calinon
機構：瑞士 IDIAP 研究所、瑞士洛桑聯邦理工學院、浙江大學
論文鏈接：https://arxiv.org/pdf/2406.01137
符號距離場（SDF）是機器人學中一種流行的隱式形狀表示，它提供了關于物體和障礙物的幾何信息，并且可以很容易地與控制、優化和學習技術結合起來。SDF 一般被用于表示任務空間中的距離，這與人類在 3D 世界中感知的距離概念相對應。
在機器人領域中，SDF 往往用來表示機器人每個關節的角度。研究者通常知道在機器人的關節角度空間中，哪些區域是安全的，也就是說，機器人的各個關節可以轉動到這些區域而不會發生碰撞。但是，他們不經常用距離場的形式來表達這些安全區域。
在這篇論文中，研究者們提出了用 SDF 優化機器人配置空間的潛力，他們稱之為配置空間距離場（簡稱為 CDF）。與使用 SDF 類似，CDF 提供了高效的關節角度距離查詢和直接訪問導數（關節角速度）。通常，機器人規劃會分成兩步：先在任務空間里看看動作離目標有多遠，再用逆運動學算出關節怎么轉。但 CDF 讓這兩步合成一步，直接在機器人的關節空間里解決問題，這樣更簡單，效率也更高。研究者在論文中提出了一種高效的算法來計算和融合 CDF，可以推廣到任意場景。
他們還提出了一種使用多層感知器（MLPs）的相應神經 CDF 表示，用以獲得緊湊且連續的表示，提高了計算效率。論文中提供了一些具體示例來展示 CDF 的效果，比如讓機器人避開平面上的障礙物，一級讓一個 7 軸的機器人 Franka 完成一些動作規劃任務。這些示例都說明了 CDF 的有效性。
應用 CDF 方法的機械臂做抬盒子任務
早期職業 Spotlight
大會還評選出了早期職業 Spotlight 獎，本次獲獎者為 Stefan Leutenegger，他的研究重點是機器人在潛在未知環境中的導航。
Stefan Leutenegger 是慕尼黑工業大學（TUM）計算、信息與技術學院（CIT）助理教授（終身教職），并與慕尼黑機器人與機器智能研究所（MIRMI）、慕尼黑數據科學研究所（MDSI）和慕尼黑機器學習中心（MCML）有所關聯，曾是戴森機器人實驗室的成員。他領導的智能機器人實驗室（SRL）致力于感知、移動機器人、無人機和機器學習的交叉研究。此外，Stefan 還是倫敦帝國理工學院計算機系的客座講師。
他參與創辦了 SLAMcore 公司，這是一家以機器人和無人機的定位和繪圖解決方案的商業化為目標的衍生公司。Stefan 獲得了蘇黎世聯邦理工學院機械工程學士學位和碩士學位，并在 2014 年獲得了博士學位，學位論文主題為《無人太陽能飛機：高效穩健自主運行的設計與算法》。
時間檢驗獎
RSS 時間考驗獎授予至少十年前在 RSS 上發表的影響力最大的論文（也可能是其期刊版本）。影響力可以從三個方面理解：比如改變了人們對問題或機器人設計的思考方式，使新問題引起了社區的注意，或者是開創了機器人設計或問題解決的新方法。
通過這個獎項，RSS 希望促進對本領域長期發展的討論。今年的時間檢驗獎頒給了 Ji Zhang 和 Sanjiv Singh 的研究《LOAM：激光雷達測距和實時測繪》。
論文鏈接：https://www.ri.cmu.edu/pub_files/2014/7/Ji_LidarMapping_RSS2014_v8.pdf
這篇十年前的論文提出了一種利用以 6-DOF 運動的雙軸激光雷達的測距數據進行里程測量和繪圖的實時方法。這個問題難以解決的原因是測距數據是在不同時間接收到的，而運動估計中的誤差會導致所得到的點云的錯誤配準。相干的三維地圖可以通過離線批處理方法建立，通常使用閉環來校正隨時間的漂移。而本文方法無需高精度測距或慣性測量，即可實現低漂移和低計算復雜度。
獲得這種性能水平的關鍵在于將復雜的同步定位和測繪問題分為兩種算法，以同時優化大量變量。一種算法以高頻率但低保真的方式進行測距，以估算激光雷達的速度；另一種算法以低一個數量級的頻率運行，用于點云的精細匹配和注冊。這兩種算法的結合使該方法能夠實時繪圖。研究者通過大量實驗以及 KITTI 測速基準進行了評估，結果表明該方法可以達到離線批量方法的 SOTA 精度水平。
更多大會及獎項信息，可參考官網內容：https://roboticsconference.org/
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
