英偉達公布機器人黑科技!完美復刻科比、C羅、詹姆斯招牌動作
作者 | 許麗思
編輯 | 漠影
繼在春晚舞臺扭秧歌引起全網熱議后,宇樹的人形機器人這次又進軍體育界了。
機器人前瞻2月5日報道,這兩天,英偉達與CMU(卡耐基梅隆大學)研究團隊共同發布了ASAP框架(Aligning Simulation and Real Physics,模擬與真實物理對齊)。這是一個real2sim2real模型,團隊還把這個框架應用于宇樹G1人形機器人,顯著提升了機器人的靈活性與協調性,讓機器人能夠完成多種復雜的類人動作。
應用了ASAP框架的宇樹G1機器人,可以學著科比一氣呵成完成后仰、跳躍、投籃的系列動作,然后平穩著地。
它可以變身足球巨星C羅,完成標志性的慶祝動作“siu”等。
也會學著像詹姆斯一樣,進行拉伸、胯下運球動作。
緊跟潮流的機器人,還跳上了APT舞。
另外,它還可以完成1.5米立定跳遠、側邊跳躍、踢腿等眾多高難度動作。
英偉達高級研究科學家Jim Fan興奮談道,相較于在網上看到的多數機器人演示視頻都是經過加速處理的,團隊特意放慢動作速度,讓公眾能清晰觀賞每個流暢的動作細節。
Jim Fan還介紹,ASAP模型采用了“真實-仿真-真實”方法,具體來說,團隊將預訓練策略部署到實體機器人采集數據,隨后在仿真環境回放動作記錄。雖然回放過程必然產生偏差,但這些誤差恰恰成為修正物理差異的關鍵數據源。通過額外神經網絡學習差異參數,本質上是對傳統物理引擎進行“動態校準”,使機器人能依托GPU的并行計算能力,在仿真環境中獲得近乎真實的大規模訓練體驗。
Jim Fan還暢想,2030年的人形機器人奧運會必然是一場盛事。
不少網友也在評論區熱議,期待在將來能夠看到機器人拳擊打大賽、機器人籃球聯賽。
CMU助理教授、論文共同作者Guanya Shi介紹,ASAP框架分為兩個階段,第一階段預訓練一個基于相位的動作跟蹤策略,以在仿真中模仿人類動作。第二階段在現實世界中執行該策略以收集數據,學習一個殘差動作模型來補償動力學不匹配,最后用學習到的殘差模型對預訓練策略進行微調。
他解釋,ASAP不僅適用于仿真到現實的遷移,它還提供了一個通用框架來對齊訓練和部署環境中的物理特性。
為了促進不同仿真器之間的平滑遷移,團隊還發布了HumanoidVerse,這是一個多仿真器人形機器人學習框架,能將仿真器、任務和算法分離并模塊化,使得在不同仿真器和任務之間切換時只需最小的工作量。
論文共同一作、CMU機器人研究所(CMU RI)的碩士生張遠航提到,real2sim2real無需像sim2real一樣進行無休止的動作調整,能夠彌補sim2real的差距,從而讓機器人能夠模仿許多類人的敏捷動作。
ASAP框架有以下四個具體步驟:
1、運動跟蹤預訓練與真實軌跡收集:先從真人視頻中提取動作并重定向到機器人上,預訓練多個運動跟蹤策略,生成真實世界的運動軌跡。
2、Delta動作模型訓練:基于真實世界軌跡數據,訓練Delta動作模型,縮小仿真狀態與真實世界狀態之間的差異。
3、策略微調:Delta動作模型訓練完成后,將其集成到仿真器中,使仿真器能匹配真實世界的物理特性,隨后對之前預訓練的運動跟蹤策略進行微調。
4、真實世界部署:在真實環境中部署微調后的策略,此時不再需要Delta動作模型了 。
ASAP框架的提出,為縮小sim2real之間差距提供了全新思路,也有效解決了動力學不匹配問題,讓機器人做出高度類人的敏捷的動作,并顯著降低運動跟蹤誤差,另外,ASAP是完全開源的,有望加速相關技術的研究與應用。
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。