新火種
2025-04-18 
AI強化的人性化多模態(tài)視覺輔助系統(tǒng)，上交大開發(fā)智能便捷的穿戴設備，登Nature
科技的發(fā)展目的是服務于人，故而高新技術(shù)的應用也應當以人為本。目前人工智能驅(qū)動的可穿戴電子系統(tǒng)沒有充分考慮盲人的適應狀況，導致采用率很低。
上海交通大學、上海人工智能實驗室等開發(fā)了一種多模態(tài)可穿戴系統(tǒng)，通過融合軟件和硬件創(chuàng)新來提高智能穿戴設備的可用性。在軟件方面定制了專屬 AI 算法用于匹配場景和人類行為需求；硬件方面開發(fā)了可拉伸的動感人造皮膚補充反饋。
中國上海交通大學的人工智能研究員 Leilei Gu 表示，這項系統(tǒng)可以部分取代眼睛，盡管目前的實驗尚且停留在原型機階段。
該研究以「Human-centred design and fabrication of a wearable multimodal visual assistance system」為題，于 2025 年 4 月 14 日刊登于《Nature》。
論文鏈接：https://www.nature.com/articles/s42256-025-01018-6
相關(guān)報道：https://www.nature.com/articles/d41586-025-01214-9
定制一雙眼睛
為盲人開發(fā)人工視覺是醫(yī)療工作者長期以來的追求?？纱┐魇皆O備通過將環(huán)境信息轉(zhuǎn)換為其他感官模式并將其反饋到大腦從而補償視力的缺失。
目前的系統(tǒng)在執(zhí)行這類任務時還存在些困難，而全新的系統(tǒng)彌補了這點。通過語音輸入控制方向，并利用 AI 算法處理設備攝像頭傳輸?shù)膶崟r圖像，保證佩戴者可以安全前進。
在低功耗計算單元上處理好的數(shù)據(jù)會被反饋到人機界面，移動目標檢測算法 YoloV8n 會識別出關(guān)鍵對象。這在實驗測試的數(shù)據(jù)集中表現(xiàn)出卓越的精度（自定義數(shù)據(jù)集調(diào)整后 0.82、預訓練 0.59）。
除此之外，RGB 和紅外圖像的組合還保證了設備在環(huán)境光不足與運動模糊等現(xiàn)實問題考驗下的發(fā)揮。嵌入式慣性測量單元（IMU）避免設備對模糊圖像進行不準確的分析。
圖 1：可穿戴多模態(tài)視覺輔助系統(tǒng)概述。（圖源：論文）
測試中，團隊使用人形機器人演示系統(tǒng)的視覺功能，達成了在人工視覺的引導下接近蘋果的目的。該序列突出了系統(tǒng)的實時視覺識別，為開發(fā)以用戶為中心的輔助技術(shù)奠定了基礎。
個性化視覺
為了能夠準確檢測各種障礙物，例如懸掛、地面和沉沒障礙物，研究團隊使用了兩種方法——全局閾值與地面間隔相結(jié)合。
前者檢查深度圖像中的所有像素，深度在一定閾值區(qū)間內(nèi)的像素被視為障礙物，避免了將地面納入障礙的范疇；后者將無遮擋地面建模為沿深度圖像垂直索引的單調(diào)遞增函數(shù)，在各種條件下都能有效運行，僅需要仔細校準閾值高度。
圖 2：避障演示。（圖源：論文）
清晰直觀的反饋信號有助于大腦輕松解釋，從而降低認知負荷。但目前常依賴聽覺傳達高密度信息，故而目前采用生物相容性編碼策略的設計來傳達高級場景信息，以此緩解超負荷所帶來的不適。
補充語音導航的不足
在導航的路上，僅有語音提示是不夠的，相信讀者在實際出行的過程中也沒少被帶入錯誤的道路，因語音提示不及時的原因也常會誤入歧途。
對于沒有視覺輔助的盲人群體，只有語音輔助顯而易見并不足以滿足他們的需要。所以，更加體貼的人造皮膚被專門設計出補充音頻反饋。
圖 3：人造皮膚運動感知系統(tǒng)。（圖源：論文）
該系統(tǒng)的核心組件是一個緊湊的 time-of-Flight（ToF）傳感器，當距離小于預定義的閾值時，致動器會振動以刺激皮膚。制動器設計纖薄，以求提高能源利用效率。
驅(qū)動器與皮膚保持的間距同時保證了執(zhí)行器的震動與空氣流通，變相減少了摩擦損耗。傳感器位于手部，根據(jù)手指的不同動作切換對應的功能。
團隊放出了實際測試視頻，在演示中，所有參與者都能夠在室內(nèi)導航，他們的步行速度與使用手杖時相似。
在另一項試驗里，8 名參與者在現(xiàn)實環(huán)境中測試該設備，包括在城市街道上行走和穿過擺滿家具的會議室，這項技術(shù)在這些場景中均表現(xiàn)良好。
相關(guān)推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務必進行充分的盡職調(diào)查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責任。
