九九热视频精品在线_国产成人mv视频在线观看_国产精品三级一区二区_亚洲精品国产av成拍色拍婷婷_久久伊人一区二区_国产高清精品网站_九九99热久久精品离线6_国产在线一卡2卡三卡4卡免费_日韩美女乱淫aaa高清视频_亚洲大胆_啪啪一级视频_午夜av免费观看_国产高清精品福利私拍国产写真_亚洲婷婷五月综合狠狠_日韩欧美一区二区三区视频_岛国av免费看_精品国产乱码久久久久久久软件_亚洲国产成人精品无码区99_www日本色_免费黄色看片

作為浙大博士畢業(yè)生，鮑芳琳用一篇 Nature 封面論文開(kāi)創(chuàng)了熱雷達(dá)的先河，為人工智能安上了一雙白天夜晚均能看見(jiàn)的“眼睛”。

（來(lái)源：Nature）

這得從他和所在團(tuán)隊(duì)提出的新型機(jī)器感知方法——HADAR （heat-assisted detection and ranging）說(shuō)起。HADAR 的中文名是“高光譜熱雷達(dá)”，也可以簡(jiǎn)稱(chēng)為“熱雷達(dá)”。

這是一種新穎的傳感范式，與現(xiàn)有的微波雷達(dá)（radar）、激光雷達(dá)（LiDAR）、聲納（sonar）等有著根本性不同。

微波雷達(dá)、激光雷達(dá)與聲納都是主動(dòng)式傳感，它們會(huì)主動(dòng)向環(huán)境發(fā)射信號(hào)。熱雷達(dá)是被動(dòng)式傳感，會(huì)和相機(jī)一樣“默默”地接收信號(hào)。

課題組之所以將它取名為雷達(dá)，是希望有朝一日熱雷達(dá)可以像微波雷達(dá)和激光雷達(dá)一樣，在各行各業(yè)中取得廣泛應(yīng)用。

圖 | 鮑芳琳（來(lái)源：鮑芳琳）

從人類(lèi)在夜晚沒(méi)有視力說(shuō)起

當(dāng)前，人類(lèi)正處于人工智能蓬勃發(fā)展的時(shí)代。機(jī)器人外賣(mài)員、掃地機(jī)器人、自動(dòng)駕駛汽車(chē)等已經(jīng)開(kāi)始走進(jìn)人類(lèi)生活。預(yù)計(jì)在未來(lái)十年，將會(huì)有數(shù)以百萬(wàn)記的機(jī)器人和人類(lèi)共同生活在地球上。屆時(shí)，機(jī)器人和人類(lèi)的社會(huì)互動(dòng)將達(dá)到一個(gè)空前的強(qiáng)度。

對(duì)于這些機(jī)器人來(lái)說(shuō)，它們必須借助傳感器來(lái)“看”周?chē)沫h(huán)境，并在獲得機(jī)器視覺(jué)之后做出自主決策。在當(dāng)前的智能機(jī)器市場(chǎng)上，以谷歌以及特斯拉的無(wú)人駕駛汽車(chē)為例，它們主要采用相機(jī)以及激光雷達(dá)來(lái)獲得機(jī)器視覺(jué)。

相機(jī)結(jié)合機(jī)器學(xué)習(xí)算法的方法，在白天的確表現(xiàn)優(yōu)異，但是一到夜晚就沒(méi)法工作。事實(shí)上即使在白天，相機(jī)也不能很好地區(qū)分真正的行人與海報(bào)上的人像。

另一方面，激光雷達(dá)以其高精度而著稱(chēng)，在機(jī)器視覺(jué)領(lǐng)域有著不可替代的作用。然而，激光雷達(dá)只適合單機(jī)使用，難以擴(kuò)展到多人工智能的場(chǎng)景中。當(dāng)多臺(tái)激光雷達(dá)放在一起，就會(huì)出現(xiàn)信號(hào)串?dāng)_，并對(duì)人眼造成安全隱患。

由此可見(jiàn)對(duì)于即將來(lái)臨的機(jī)器人時(shí)代來(lái)說(shuō)，顯然需要新一代的傳感器，以便不分晝夜地支持多人工智能場(chǎng)景。

當(dāng)然，作為人類(lèi)的我們?cè)缫蚜?xí)慣了白天與黑夜的二分世界。在黑夜看不見(jiàn)東西也是一個(gè)再自然不過(guò)的現(xiàn)象。

那么，想要造出一個(gè)不分晝夜的傳感器，先得回過(guò)頭去思考：為什么人的眼睛在黑夜沒(méi)有視覺(jué)能力？

這其實(shí)是生物演化的結(jié)果。幾百萬(wàn)年前，人類(lèi)跟其他陸地動(dòng)物一樣都還是遠(yuǎn)古海洋生物。海洋幾乎只在可見(jiàn)光區(qū)域透明。從那時(shí)起，人的眼睛就一直圍繞著可見(jiàn)光演化。

然而，地球一直在自轉(zhuǎn)，始終只有一面朝著太陽(yáng)。背對(duì)太陽(yáng)的另一面沒(méi)有可見(jiàn)光，于是就形成了黑夜。

而人工智能既沒(méi)有生物演化，也無(wú)需考慮海洋的透明窗口。那么，人工智能的機(jī)器視覺(jué)可以做到?jīng)]有晝夜之分嗎？

鮑芳琳說(shuō)：“我們的熱雷達(dá)工作給出了肯定的答案，YES！”

在這項(xiàng)工作中，第一步便是利用紅外熱輻射作為傳感信號(hào)源。事實(shí)上，我們周?chē)乃形矬w諸如地面、房子、人體等，都會(huì)不分晝夜地發(fā)出紅外熱輻射。

利用紅外熱輻射進(jìn)行成像，具有一定的夜視能力。然而，熱成像有著非常典型的“鬼影效應(yīng)”。如下圖，熱成像之下的人臉沒(méi)有細(xì)節(jié)，更像個(gè)“鬼魂”。

圖 | 鮑芳琳的熱成像照片（來(lái)源：鮑芳琳）

其實(shí)熱成像下的其他物體也都一樣：缺乏紋理、對(duì)比度低，遠(yuǎn)不如白天我們眼見(jiàn)的景象。

那么，“鬼影效應(yīng)”是怎么產(chǎn)生的？假如能從熱成像中恢復(fù)紋理細(xì)節(jié)，使熱成像達(dá)到類(lèi)似于白天景象的效果，就能得到真正的夜視嗎？

鮑芳琳說(shuō)：“我們的熱雷達(dá)工作正是解釋并克服了‘鬼影效應(yīng)’，并實(shí)現(xiàn)了真正的夜視。熱雷達(dá)可以在黑夜看到類(lèi)比于白天的景象，在此基礎(chǔ)之上實(shí)現(xiàn)不分晝夜的機(jī)器感知。”

由于熱雷達(dá)是被動(dòng)式傳感，所以非常適合用于多人工智能場(chǎng)景，有望為未來(lái)的人機(jī)交互時(shí)代提供傳感支持，并有望為機(jī)器視覺(jué)以及人工智能帶來(lái)突破。

可以說(shuō)，熱雷達(dá)重新定義了低可見(jiàn)度環(huán)境下的機(jī)器感知，即將為低可見(jiàn)度下的機(jī)器視覺(jué)以及成像技術(shù)帶來(lái)革命。

審稿人也評(píng)價(jià)稱(chēng)：“這篇論文將會(huì)吸引全球?qū)W者來(lái)探索熱雷達(dá)，并將熱雷達(dá)的框架應(yīng)用到低可見(jiàn)度情況的各個(gè)任務(wù)場(chǎng)合。”

同時(shí)，熱雷達(dá)毫無(wú)疑問(wèn)將提升自動(dòng)駕駛以及其他機(jī)器輔助技術(shù)。隨著熱雷達(dá)的進(jìn)一步優(yōu)化，它將開(kāi)辟一個(gè)全被動(dòng)的、對(duì)物理環(huán)境有著靈敏傳感的機(jī)器感知技術(shù)。

由此可見(jiàn)，熱雷達(dá)有望重塑我們的未來(lái)，它會(huì)讓我們更加接近一個(gè)人機(jī)交互的社會(huì)。在那里，機(jī)器可以通過(guò)高靈敏傳感為我們提供既關(guān)鍵、又安全的信息。

（來(lái)源：Nature）

具體來(lái)說(shuō)：

熱雷達(dá)最直接的應(yīng)用就是作為機(jī)器人以及無(wú)人駕駛汽車(chē)的傳感器。熱雷達(dá)采取完全被動(dòng)式的傳感方式，可以感知材料、溫度、幾何紋理等多維度的物理信息，還能在黑夜看到類(lèi)似白天的景象，這將為機(jī)器人提供全新的機(jī)器視覺(jué)支持。

熱雷達(dá)也能用于野生動(dòng)物監(jiān)測(cè)。野生動(dòng)物大多只在夜間活動(dòng)。熱雷達(dá)的夜視能力以及靈敏的溫度感知能力，將幫助我們更好地監(jiān)測(cè)珍稀野生動(dòng)物。

熱雷達(dá)也可用于智能醫(yī)療，更好地在夜間監(jiān)測(cè)患者的行為、狀態(tài)。

熱雷達(dá)還能用于國(guó)防領(lǐng)域，由于其具備被動(dòng)傳感的特征，故其具有良好的隱蔽性。

日前，相關(guān)論文以《熱輔助探測(cè)和測(cè)距》（Heat-assisted detection and ranging）為題發(fā)在 Nature，并成為當(dāng)期封面論文。鮑芳琳是第一作者，美國(guó)普渡大學(xué)祖賓·雅各（Zubin Jacob）擔(dān)任通訊作者[1]。

圖 | 相關(guān)論文（來(lái)源：Nature）

“本來(lái)也不存在路，路都是人走出來(lái)的”

事實(shí)上，這篇發(fā)表于 Nature 封面的論文，一開(kāi)始起源于鮑芳琳用來(lái)練手的一個(gè)小課題。

2019 年 5 月，為了拓寬個(gè)人研究方向，鮑芳琳來(lái)到美國(guó)普渡大學(xué) Zubin Jacob 組從事博后研究，原本他打算做一個(gè)量子多體物理與張量網(wǎng)絡(luò)的課題。

然而等鮑芳琳真正來(lái)到普渡大學(xué)，Zubin 卻并沒(méi)有成功申請(qǐng)到張量網(wǎng)絡(luò)的項(xiàng)目。

于是，他們打算先花兩三個(gè)月時(shí)間，拿個(gè)小課題練練手。一邊積累機(jī)器學(xué)習(xí)與張量網(wǎng)絡(luò)方面的知識(shí)，一邊申請(qǐng)新的項(xiàng)目。

對(duì)于這個(gè)小課題，Zubin 給鮑芳琳設(shè)定了一些相對(duì)淺顯的內(nèi)容：用機(jī)器學(xué)習(xí)對(duì)紅外光譜進(jìn)行材料分類(lèi)。

不過(guò)，Zubin 卻給這個(gè)小課題取了一個(gè)響亮的名字——HADAR（heat-assisted detection and ranging），這便是此次研究的前身。

但是，Zubin 和鮑芳琳都沒(méi)有紅外遙感方面的基礎(chǔ)。等鮑芳琳掌握了張量網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)方面的必要知識(shí)后，鮑芳琳又開(kāi)始了解領(lǐng)域內(nèi)的現(xiàn)狀，結(jié)果發(fā)現(xiàn)對(duì)于紅外光譜進(jìn)行材料分類(lèi)這種工作，早在十年前就被做完了，因此并不能作為新的課題。

但是，鮑芳琳覺(jué)得 HADAR 這個(gè)名字有點(diǎn)意思。利用紅外輻射進(jìn)行被動(dòng)式傳感，相比激光雷達(dá)而言也有其獨(dú)特的優(yōu)勢(shì)。

在 HADAR 這個(gè)單詞里，D 跟 R 分別代表目標(biāo)探測(cè)與距離測(cè)量。如果不像激光雷達(dá)那樣主動(dòng)發(fā)射信號(hào)出去，又該如何測(cè)量目標(biāo)物體的距離呢？

最直接的做法就是模擬人眼，用雙目視差法測(cè)量距離。然而，鮑芳琳發(fā)現(xiàn)熱成像受到“鬼影效應(yīng)”影響，普遍都缺乏紋理，這時(shí)就很難采用雙目視差的方法，這也是熱成像傳感領(lǐng)域的一個(gè)瓶頸。

那么，為什么熱相機(jī)拍照片無(wú)法像普通相機(jī)那樣富含紋理呢？“鬼影效應(yīng)”又是怎么產(chǎn)生的？以及能否克服“鬼影效應(yīng)”，實(shí)現(xiàn)熱紅外的目標(biāo)探測(cè)與距離測(cè)量？

這些問(wèn)題讓鮑芳琳來(lái)了興趣，也讓他看到了真正適合 HADAR 這個(gè)名字的、完全不同于當(dāng)初小課題的研究思路與內(nèi)容。

找到新的研究思路之后，他很快就想通了“鬼影效應(yīng)”的機(jī)制與克服辦法，由此提出了“TeX 視覺(jué)”的概念，這也是熱雷達(dá)的核心原理。

與此同時(shí)，Zubin 也極大肯定了鮑芳琳的想法。綜合一些其他想法，再加上組里的前期研究基礎(chǔ)，他們很快就在一年之內(nèi)申請(qǐng)到 4 個(gè)項(xiàng)目。熱雷達(dá)項(xiàng)目，則由其中一個(gè) DARPA 項(xiàng)目支持。

獲得支持之后，他們分析了熱雷達(dá)的理論極限，也研究了一些基礎(chǔ)問(wèn)題，比如熱雷達(dá)需要多少個(gè)光子才能分辨目標(biāo)物體的材料、以及測(cè)量目標(biāo)物體的距離等。

另一方面，他們也開(kāi)始著手使用仿真模擬的方法，去證實(shí)熱雷達(dá)的可行性，以及通過(guò)戶(hù)外實(shí)驗(yàn)去實(shí)現(xiàn)熱雷達(dá)的原始模型。

（來(lái)源：Nature）

后來(lái)，他們把上述研究整理為論文并投稿到 Nature，盡管得到了非常正面的評(píng)價(jià)，期刊編輯以及審稿人都表示這項(xiàng)工作很有意思。

不過(guò)，鮑芳琳和導(dǎo)師以及同事基本都是物理或光學(xué)背景出身，而審稿人全部來(lái)自計(jì)算機(jī)科學(xué)和機(jī)器視覺(jué)領(lǐng)域。

不同背景學(xué)者的關(guān)注點(diǎn)很不一樣。審稿人在點(diǎn)贊理論框架的同時(shí)，也希望鮑芳琳等人補(bǔ)充更多的模擬與實(shí)驗(yàn)，真正把熱雷達(dá)做出來(lái)，并與現(xiàn)有的激光雷達(dá)等進(jìn)行對(duì)比。

在長(zhǎng)達(dá)兩年的審稿過(guò)程中，鮑芳琳自學(xué)了一些計(jì)算機(jī)圖形的基礎(chǔ)知識(shí)。他還帶著幾個(gè)研究生開(kāi)發(fā)出一個(gè)基于光線追跡的計(jì)算機(jī)圖形仿真軟件，生成了世界上唯一一個(gè)公開(kāi)的紅外高光譜成像的數(shù)據(jù)庫(kù)（the HADAR database）。

利用這個(gè)數(shù)據(jù)庫(kù)，他們開(kāi)始訓(xùn)練機(jī)器學(xué)習(xí)，并對(duì)熱雷達(dá)理論進(jìn)行數(shù)值驗(yàn)證。同時(shí)，利用 DARPA 項(xiàng)目組提供的更加優(yōu)質(zhì)的實(shí)驗(yàn)數(shù)據(jù)，鮑芳琳開(kāi)發(fā)了一系列算法，在實(shí)驗(yàn)上實(shí)現(xiàn)了熱雷達(dá)的所有效果，包括 TeX 視覺(jué)、類(lèi)比于白天的夜視能力、顯著優(yōu)于傳統(tǒng)熱成像的目標(biāo)探測(cè)與距離測(cè)量等。

熱雷達(dá)是一個(gè)新概念，也是一個(gè)跨領(lǐng)域的工作。雖然目前只是一篇期刊論文，但是鮑芳琳感覺(jué)其工作量堪比一個(gè)博士學(xué)位論文。

短短 6 頁(yè)的 Nature 正文背后，有著將近 100 頁(yè)的方法與補(bǔ)充材料，涵蓋光學(xué)信息理論、機(jī)器學(xué)習(xí)算法、實(shí)驗(yàn)細(xì)節(jié)、與當(dāng)前機(jī)器視覺(jué)的對(duì)比分析等內(nèi)容。

審稿意見(jiàn)以及修改材料也長(zhǎng)達(dá) 143 頁(yè)。原本 3 個(gè)月的小課題做了 4 年才有了這第一個(gè)階段性成果。

鮑芳琳說(shuō)：“論文合作者之一的 Vaneet Aggarwal 教授曾問(wèn)我，這么長(zhǎng)時(shí)間沒(méi)出成果，你不怕以后找不到工作（教職）嗎？說(shuō)實(shí)話(huà)，我也擔(dān)心。不過(guò)權(quán)衡之下，我覺(jué)得‘做好一件事情’比‘做過(guò)多件事情’更重要，所以一直在堅(jiān)持。”

而鮑芳琳和同事踏實(shí)的論證工作，也得到了審稿人多次的贊賞。與此同時(shí)，漫長(zhǎng)的研究也并未讓鮑芳琳過(guò)于擔(dān)心找工作一事。因?yàn)樵诖饲埃谄渌?xiàng)目上發(fā)表過(guò)一些論文。

但是，由于熱雷達(dá)過(guò)于前沿，他也曾遇到過(guò)一些困惑。其表示：“我本科學(xué)的是物理，博士學(xué)的是光學(xué)。在做熱雷達(dá)之前，我主要研究量子物理。”

在做熱雷達(dá)之后，曾經(jīng)有很長(zhǎng)一段時(shí)間，組里新來(lái)的同學(xué)問(wèn)他從事什么研究方向，很多次他都答不上來(lái)。

盡管熱雷達(dá)涉及到多個(gè)學(xué)科的知識(shí)，但它本身是一個(gè)新生事物，不曾被明確定義過(guò)。直到研究臨近結(jié)束，他才慢慢釋然。“本來(lái)也不存在路，路都是人走出來(lái)的。也許若干年后，熱雷達(dá)本身就成了一個(gè)研究方向。”鮑芳琳總結(jié)稱(chēng)。

另?yè)?jù)悉，在論文審稿期間，鮑芳琳也迎來(lái)了女兒 Louisa 的出生。組里同學(xué)開(kāi)玩笑說(shuō)，她的名字應(yīng)該叫 HADAR。他繼續(xù)說(shuō)道：“這項(xiàng)工作能堅(jiān)持到最后，離不開(kāi)親人們默默的支持。”

未來(lái)，鮑芳琳會(huì)持續(xù)推動(dòng)熱雷達(dá)相關(guān)的研究，直到它像激光雷達(dá)等一樣在社會(huì)上取得廣泛的應(yīng)用。這其實(shí)是一條漫長(zhǎng)的路，前文提到了鮑芳琳的熱成像照片。那么，它對(duì)應(yīng)的熱雷達(dá)圖像在哪里？目前依舊無(wú)法得到。

這是因?yàn)椋壳暗臒崂走_(dá)仍然處于概念驗(yàn)證的階段，還有很多理論需要通過(guò)進(jìn)一步的實(shí)驗(yàn)加以驗(yàn)證，也有更多應(yīng)用值得去探索。

與此同時(shí)，熱雷達(dá)所使用的高光譜熱相機(jī)非常笨重、遲緩和昂貴，急需得到進(jìn)一步的突破。“我計(jì)劃回國(guó)之后在這些方面繼續(xù)開(kāi)展研究工作，希望 2024 年初能回到祖國(guó)懷抱，我未來(lái)的研究方向也會(huì)繼續(xù)圍繞量子物理與人工智能開(kāi)展，熱雷達(dá)便是其中的一個(gè)方向。”他說(shuō)。