九九热视频精品在线_国产成人mv视频在线观看_国产精品三级一区二区_亚洲精品国产av成拍色拍婷婷_久久伊人一区二区_国产高清精品网站_九九99热久久精品离线6_国产在线一卡2卡三卡4卡免费_日韩美女乱淫aaa高清视频_亚洲大胆_啪啪一级视频_午夜av免费观看_国产高清精品福利私拍国产写真_亚洲婷婷五月综合狠狠_日韩欧美一区二区三区视频_岛国av免费看_精品国产乱码久久久久久久软件_亚洲国产成人精品无码区99_www日本色_免费黄色看片

要點(diǎn):

1. 北大研究團(tuán)隊(duì)開(kāi)發(fā)了一種具身導(dǎo)航系統(tǒng)，使機(jī)器人可以根據(jù)口頭指令在室內(nèi)環(huán)境中移動(dòng)，無(wú)需額外訓(xùn)練或建圖。

2. 這一系統(tǒng)涉及多個(gè)關(guān)鍵任務(wù)，包括指令分析、視覺(jué)感知、完成估計(jì)和決策測(cè)試，由大模型專(zhuān)家團(tuán)隊(duì)協(xié)同完成。

3. DiscussNav系統(tǒng)通過(guò)與大模型專(zhuān)家互動(dòng)，使機(jī)器人能夠根據(jù)人類(lèi)指令移動(dòng)，解決了機(jī)器人導(dǎo)航訓(xùn)練數(shù)據(jù)稀缺的問(wèn)題，同時(shí)具備零樣本能力，能夠執(zhí)行多樣的導(dǎo)航指令。

站長(zhǎng)之家11月6日 消息:北大的研究團(tuán)隊(duì)近期推出了一項(xiàng)具身導(dǎo)航系統(tǒng)，可使機(jī)器人無(wú)需額外訓(xùn)練或建圖，僅通過(guò)口頭指令在室內(nèi)環(huán)境中自如移動(dòng)。這一系統(tǒng)包括指令分析、視覺(jué)感知、完成估計(jì)和決策測(cè)試等多個(gè)關(guān)鍵任務(wù)，需要不同領(lǐng)域的知識(shí)，這些任務(wù)由一個(gè)大模型專(zhuān)家團(tuán)隊(duì)協(xié)同完成。

作者啟發(fā)于現(xiàn)實(shí)中專(zhuān)家討論行為，設(shè)計(jì)了DiscussNav導(dǎo)航系統(tǒng)，通過(guò)賦予大語(yǔ)言模型（LLM）和多模態(tài)大模型(MLM)專(zhuān)家角色和任務(wù)，構(gòu)建了具備不同專(zhuān)長(zhǎng)的視覺(jué)導(dǎo)航專(zhuān)家團(tuán)隊(duì)。

論文地址：https://arxiv.org/pdf/2309.11382.pdf

在這一系統(tǒng)中，導(dǎo)航機(jī)器人會(huì)在每一步移動(dòng)前主動(dòng)與專(zhuān)家討論，以理解人類(lèi)指令中所需的動(dòng)作和提及的物體標(biāo)志。然后，它會(huì)根據(jù)這些物體標(biāo)志類(lèi)型傾向性地感知周?chē)h(huán)境，估計(jì)指令的完成情況，并做出初步的移動(dòng)決策。

值得注意的是，在決策過(guò)程中，機(jī)器人會(huì)同時(shí)生成多個(gè)獨(dú)立的預(yù)測(cè)結(jié)果，并在這些結(jié)果之間出現(xiàn)不一致時(shí)，向決策測(cè)試專(zhuān)家求助，以篩選出最終的移動(dòng)決策。這一方法不同于傳統(tǒng)方法，無(wú)需額外預(yù)訓(xùn)練，通過(guò)與大模型專(zhuān)家的互動(dòng)，直接解決了機(jī)器人導(dǎo)航訓(xùn)練數(shù)據(jù)稀缺的問(wèn)題，并具備零樣本能力。

DiscussNav系統(tǒng)在經(jīng)典的視覺(jué)語(yǔ)言導(dǎo)航數(shù)據(jù)集Room2Room上的表現(xiàn)顯著超越了所有零樣本方法，甚至勝過(guò)了經(jīng)過(guò)訓(xùn)練的方法。

研究團(tuán)隊(duì)還在Turtlebot4移動(dòng)機(jī)器人上進(jìn)行了真實(shí)室內(nèi)場(chǎng)景導(dǎo)航實(shí)驗(yàn)，結(jié)果表明，該系統(tǒng)在真實(shí)世界中的表現(xiàn)明顯優(yōu)于之前最優(yōu)的零樣本方法和經(jīng)過(guò)預(yù)訓(xùn)練微調(diào)的方法，展現(xiàn)出良好的從模擬環(huán)境到真實(shí)環(huán)境的遷移能力。

作者指出，這一系統(tǒng)具備四個(gè)強(qiáng)大的能力，包括識(shí)別開(kāi)放世界物體、識(shí)別細(xì)粒度的導(dǎo)航標(biāo)志物體、糾正其他專(zhuān)家在討論中的錯(cuò)誤信息，以及排除不一致的移動(dòng)決策。

此外，作者還提出，深入研究如何有效利用仿真數(shù)據(jù)和大模型從海量數(shù)據(jù)中學(xué)到的先驗(yàn)知識(shí)是未來(lái)具身智能研究的發(fā)展方向。盡管受到數(shù)據(jù)規(guī)模和真實(shí)環(huán)境探索成本的限制，但大模型的進(jìn)展為具身智能提供了新方向，將推動(dòng)其發(fā)展。

在總體上，北大的DiscussNav系統(tǒng)代表了具身導(dǎo)航領(lǐng)域的一項(xiàng)重要突破，使機(jī)器人能夠根據(jù)口頭指令自如導(dǎo)航，同時(shí)具備零樣本能力，這對(duì)未來(lái)的智能機(jī)器人和自動(dòng)化應(yīng)用具有重要意義。