新火種
2024-06-03 
清華“天眸芯”登Nature封面！全球首款類腦互補視覺芯片，施路平團隊最新成果
清華類腦計算研究中心施路平團隊新成果，登上最新一期Nature封面。
團隊研發出世界首款類腦互補視覺芯片——“天眸芯”。
“天眸芯”實現了一種基于視覺原語的互補雙通路類腦視覺感知新范式，模仿了人類視覺系統特征。
性能上，“天眸芯”能夠以每秒10000幀的高速、10bit的高精度、130dB的高動態范圍進行視覺信息采集，并大幅減少帶寬需求。
△圖源：清華大學官方公眾號
將“天眸芯”集成到自動駕駛系統中，即使面對突然閃光干擾、隧道等高動態范圍場景、異常物體移動等復雜情況，配合互補多通路算法，系統也能實現精準認知和快速響應。
這回是真開“眸”了～
“天眸芯”長啥樣？
隨著自動駕駛、機器人、AI等開放世界應用的發展，現有圖像傳感器面臨諸多挑戰，難以處理超出其傳感范圍的動態、多樣化和不可預測的情況。
比如快速騎自行車的人、意外行為、光線從明亮到陰暗的快速變化……
然鵝，圖像傳感器要向高速度、高分辨率、大動態范圍和高精度發展，還受功率和帶寬限制。
反觀人類視覺系統（HVS），具有超強的適應能力和魯棒性。
人類視覺系統將視覺刺激解析為多種視覺原語，比如顏色、方向、動作等，并以互補的方式將它們分配到腹側路徑（what）和背側路徑（where、how）這兩條神經通路，有效地提供了視覺場景的統一表征。
受此啟發，清華類腦計算研究中心團隊提出了一種基于視覺原語的互補雙通路類腦視覺感知范式。
如下圖所示，此范式中的原語包括顏色、精度、靈敏度、空間分辨率、速度、絕對強度、空間差分（SD）和時序差分（TD）。
兩條互補的視覺路徑（CVP）為面向認知的路徑（COP）和面向行動的路徑（AOP），對應人類視覺系統的腹側和背側路徑。
COP使用顏色、強度、高空間分辨率和高精度的原語來實現準確的認知，最小化空間混疊和量化錯誤；AOP使用SD、TD和高速度的原語來實現快速響應。
為實現上述范式，研究團隊設計了視覺芯片“天眸芯”。
“天眸芯”整體架構設計如下圖所示，包含兩個核心組件：
混合像素陣列（Hybrid Pixel Array），用于將光學信息轉換為電信號；并行異構讀出架構（parallel-and-heterogeneous readout architecture），用于構建兩條互補視覺路徑。
其中，混合像素陣列由錐狀像素和桿狀像素組成，具有不同的顏色、響應模式、分辨率和靈敏度特性。
這些像素可以將視覺信息解析為特定顏色（紅、綠和藍）和白光譜，作為顏色對立原語，還可以通過使用高增益或低增益的電荷轉換模式來調節靈敏度，擴展動態范圍。
錐狀像素采用4μm的細粒度間距實現絕對強度感測，桿狀像素有兩種不同的8μm和16μm的感受野（指一個神經元或神經元集群能夠響應的特定區域內的刺激），用于檢測時序差分和空間差分。
此外，桿狀像素內嵌高密度存儲器，使用“乒乓行為”（ping-pong behaviour）緩沖歷史電壓，以連續計算時序差分。
再來看并行異構讀出架構。
其中，COP采用單斜率模數轉換器，對密集的絕對強度信號進行高精度編碼。
AOP使用專門的讀出架構，通過可編程閾值濾波器（programmable threshold filter）來最小化冗余和噪聲，同時保留關鍵信息；采用具有可配精度的快速自適應數模轉換器（fast polarity-adaptive digital-to-analog converter）進行信號量化；使用數據打包器（data packetizer）實現稀疏可變精度時序差分和空間差分信號的無損壓縮，以統一協議進行打包。
并行讀出電路分別對應COP和AOP，COP使用高精度并行ADC,AOP使用多精度自適應ADC和稀疏編碼器,支持可重構速度/精度并減少帶寬需求。
高速度、高動態范圍、低帶寬研究團隊從量子效率、動態范圍、響應速度、功耗和帶寬等關鍵性能指標上對“天眸芯”的進行了全面評估。
“天眸芯”在COP和AOP兩個路徑上都展示了高量子效率，在530nm波長下，AOP的量子效率最大值達72%，而COP達到69%。
通過COP和AOP不同增益模式的動態范圍疊加，“天眸芯”實現了130dB的整體動態范圍。它能檢測從2.71×10^-3 μW/cm^2到8.04×10^3 μW/cm^2的光功率密度。
該動態范圍測試遵循EMVA1288標準，使用了專門設計的均勻光源和濾光裝置。
此外，“天眸芯”展現出了高空間分辨率和精度，以及在不可預測環境中的高魯棒性。
在具有快速運動、旋轉和突變光照的極端場景中，COP和AOP能對視覺信息進行互補感知和重建。比如，為消除AOP中由運動引起的空間混疊和量化誤差，“天眸芯”利用COP的高空間分辨率和精度進行補充。
響應速度方面，AOP可重構速度范圍從每秒757幀到10000幀，精度從±7bit到±1bit，補充了COP每秒30幀和10bit分辨率相對較慢的速度。
在瞬態閃電測試中，“天眸芯”能夠以±1bit在50毫伏的閾值下以10000fps的速度捕捉快速閃電。
由于高稀疏性，AOP在瞬態現象期間的峰值帶寬消耗僅約50兆字節每秒（MB s^-1），與具有相當時空分辨率和精度的傳統相機相比，減少了90%（640×320×10000×2）。
更多高速響應演示：
研究團隊還使用一個綜合的性能評估指標（FOM），結合最大采樣率和動態范圍，以衡量芯片的整體性能。
“天眸芯”在FOM方面表現出色，超越了現有的神經形態傳感器和傳統圖像傳感器，同時保持了低功耗和低帶寬消耗。
為測試天眸芯在開放世界場景下的性能表現，研究團隊開發了一個集成了“天眸芯”的自動駕駛感知系統，用于在開放道路上進行評估。
評估涵蓋了多種復雜場景，包括：突發的光照變化，如閃光燈干擾；高動態范圍場景，如隧道入口和出口；領域偏移問題，涉及異常物體的檢測；多種角落。
為充分利用天眸芯架構的優勢，研究團隊設計了一個多路徑算法，專門針對“天眸芯”的AOP和COP互補特性進行了優化。
當場景涉及突然光閃，“天眸芯”在這種光閃情況下表現出了顯著的抵抗力，同時在正常情況下保持高感知性能。
對于實時高動態范圍感知，兩條路徑的互補靈敏度使得“天眸芯”能夠感知高亮度對比度而不犧牲速度。AOP-TD和AOP-SD的協作，使得系統能夠精確計算運動方向和速度，以識別異常物體。
此外，天眸芯能夠同時處理多個角落案例，通過CVP的合作，提供多樣化的結果，為進一步決策提供空間。
研究團隊使用平均精度均值（mAP0.50）來評估算法性能。CVP在所有案例中都顯示出比單一路徑更優越的整體檢測性能。
而且“天眸芯”在測試中消耗的帶寬不到80MB/s，平均功耗為328毫瓦，這證明了其在保持高性能的同時，也實現了低功耗和低帶寬消耗。
總的來說，實驗結果表明，天眸芯能夠高效適應極端光照環境，并提供領域不變的多級感知能力，這對于自動駕駛系統在開放世界中的性能至關重要。
清華類腦計算中心再進擊
該研究來自清華大學類腦計算中心團隊，論文通訊作者為施路平教授和趙蓉教授。
△施路平教授（右一）和趙蓉教授（左二）指導學生實驗，圖源：清華大學官方公眾號
精密儀器系楊哲宇博士、精密儀器系2020級博士生王韜毅、林逸晗為論文共同一作。
△天眸芯研究團隊，圖源：清華大學官方公眾號
清華大學類腦計算中心由施路平教授2013年3月全職入職清華大學后組建，從基礎理論、類腦計算系統芯片和軟件系統全方位進行類腦計算研究。
在最新“天眸芯”這項成果中，北京靈汐科技有限公司為合作單位，論文共同一作楊哲宇現為北京靈汐科技有限公司研發經理。
在“天眸芯”之前，清華大學類腦計算中心團隊還在2019年憑借異構融合類腦計算“天機芯”登Nature封面。
順便一提，與“天眸芯”同一天，清華還有一項研究登Nature。中國科學院院士、清華大學交叉信息研究院教授段路明帶領研究組首次實現基于數百離子量子比特的量子模擬計算。
Nature審稿人稱其是量子模擬領域的巨大進步。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
