九九热视频精品在线_国产成人mv视频在线观看_国产精品三级一区二区_亚洲精品国产av成拍色拍婷婷_久久伊人一区二区_国产高清精品网站_九九99热久久精品离线6_国产在线一卡2卡三卡4卡免费_日韩美女乱淫aaa高清视频_亚洲大胆_啪啪一级视频_午夜av免费观看_国产高清精品福利私拍国产写真_亚洲婷婷五月综合狠狠_日韩欧美一区二区三区视频_岛国av免费看_精品国产乱码久久久久久久软件_亚洲国产成人精品无码区99_www日本色_免费黄色看片

想象一下當(dāng)你躺在沙發(fā)上，只需要不假思索地說出指令，機(jī)器人就能幫你干活，是不是聽起來就十分愜意？

如今這種科幻電影中的場(chǎng)景正在變?yōu)楝F(xiàn)實(shí)，來自北京大學(xué)的助理教授、博士生導(dǎo)師董豪團(tuán)隊(duì)近日提出首個(gè)通用指令導(dǎo)航大模型系統(tǒng)InstructNav。

不論是尋找物體，走到指定位置，還是滿足抽象的人類需求，只要你說出指令，InstructNav都能幫你實(shí)現(xiàn)。

目前該工作已經(jīng)被CoRL?（Conference on Robot Learning）2024會(huì)議錄用，文章可在Arxiv瀏覽，代碼也即將在近期開源。

大模型如何統(tǒng)一具身指令導(dǎo)航規(guī)劃？

不同的導(dǎo)航任務(wù)要求截然不同的能力，經(jīng)典的物體導(dǎo)目標(biāo)航任務(wù)需要理解房間結(jié)構(gòu)和物體之間的聯(lián)系，視覺語言導(dǎo)航任務(wù)側(cè)重于嚴(yán)謹(jǐn)?shù)刈裱噶睿屡d的需求驅(qū)動(dòng)的導(dǎo)航任務(wù)要求根據(jù)人類抽象需求進(jìn)行語義推理。

先前研究工作都圍繞某一種特定類型的指令設(shè)計(jì)一個(gè)特定類型的導(dǎo)航方法，然而在真實(shí)應(yīng)用中，人類可能向機(jī)器人下達(dá)不同形式的指令，甚至混合類型指令，現(xiàn)有的具身導(dǎo)航模型都無法滿足這樣的實(shí)際需求，因此實(shí)現(xiàn)通用指令導(dǎo)航對(duì)于機(jī)器人在現(xiàn)實(shí)世界的應(yīng)用充滿價(jià)值。

為了實(shí)現(xiàn)這一目標(biāo)，作者首先提出動(dòng)態(tài)導(dǎo)航鏈路（Dynamic Chain-of-Navigation）這一全新的導(dǎo)航規(guī)劃范式，將不同類型的導(dǎo)航指令統(tǒng)一為“導(dǎo)航動(dòng)作 1 – 標(biāo)志物1 -> 導(dǎo)航動(dòng)作 2 – 標(biāo)志物 2 … ”的標(biāo)準(zhǔn)形式。

InstructNav利用大語言模型在任務(wù)規(guī)劃和常識(shí)推理上的卓越能力，根據(jù)原始指令規(guī)劃導(dǎo)航鏈路。

在導(dǎo)航過程中，InstructNav會(huì)根據(jù)最新觀測(cè)到的場(chǎng)景物體不斷更新導(dǎo)航鏈路，引導(dǎo)機(jī)器人對(duì)于環(huán)境進(jìn)行有效探索。

例如，當(dāng)指令要求“尋找沙發(fā)”時(shí)，動(dòng)態(tài)導(dǎo)航鏈路會(huì)被更新為“探索 – 電視”附近區(qū)域，因?yàn)殡娨暸赃呑羁赡艽嬖谏嘲l(fā)。

構(gòu)建大模型推理到價(jià)值地圖的映射

以上由大模型規(guī)劃的動(dòng)態(tài)導(dǎo)航鏈路和控制機(jī)器人底層動(dòng)作之間仍然存在較大差異。

為了引導(dǎo)機(jī)器人根據(jù)動(dòng)態(tài)導(dǎo)航鏈路行動(dòng)，作者提出將大模型的規(guī)劃結(jié)果映射到多源價(jià)值地圖（Multi-sourced Value Maps）上，這些價(jià)值地圖包括：

動(dòng)作價(jià)值地圖（Action Value Map）：賦予待執(zhí)行動(dòng)作對(duì)應(yīng)的區(qū)域更高可導(dǎo)航價(jià)值。語義價(jià)值地圖（Semantic Value Map）：賦予標(biāo)志物對(duì)應(yīng)的區(qū)域更高可導(dǎo)航價(jià)值。直覺價(jià)值地圖（Intuition Value Map）：利用多模態(tài)大模型判斷全景圖中最適合移動(dòng)的區(qū)域，并賦予更高可導(dǎo)航價(jià)值。軌跡價(jià)值地圖（Trajectory Value Map）：賦予遠(yuǎn)離現(xiàn)有軌跡的區(qū)域更高的可導(dǎo)航價(jià)值。

通過對(duì)多源價(jià)值地圖相加求和即可得到?jīng)Q策價(jià)值地圖（Decision-making Value Map）。

在決策價(jià)值地圖上選取最高價(jià)值點(diǎn)作為下一途徑點(diǎn)，然后利用點(diǎn)到點(diǎn)的路徑規(guī)劃算法即可實(shí)現(xiàn)對(duì)于機(jī)器人底層移動(dòng)的控制。

多個(gè)零樣本導(dǎo)航任務(wù)新SOTA

作者在經(jīng)典的物體目標(biāo)導(dǎo)航任務(wù)，視覺語言導(dǎo)航任務(wù)以及最新的需求導(dǎo)航任務(wù)上開展標(biāo)準(zhǔn)化評(píng)測(cè)。

從以下表格中可以觀察到，InstructNav首次實(shí)現(xiàn)連續(xù)環(huán)境下零樣本的視覺語言導(dǎo)航，并在零樣本的物體目標(biāo)導(dǎo)航和需求驅(qū)動(dòng)導(dǎo)航任務(wù)上全面超越所有的現(xiàn)有方法，獲得最高成功率。

文章鏈接：https://arxiv.org/pdf/2406.04882項(xiàng)目鏈接：https://sites.google.com/view/instructnav代碼鏈接：https://github.com/LYX0501/InstructNav