新火種
2025-02-07 
清華團隊AI光學(xué)計算新突破：光譜卷積神經(jīng)網(wǎng)絡(luò)芯片，數(shù)據(jù)吞吐量降低了96%！
編輯 | 2049
近年來，人工智能技術(shù)在各個領(lǐng)域的廣泛應(yīng)用對計算效率提出了更高要求。特別是在邊緣計算場景中，如何降低深度學(xué)習(xí)模型的計算成本和功耗成為關(guān)鍵挑戰(zhàn)。
來自清華大學(xué)的研究團隊提出了一種創(chuàng)新的光譜卷積神經(jīng)網(wǎng)絡(luò)（Spectral Convolutional Neural Network，SCNN）芯片架構(gòu)，通過將光學(xué)計算與電子計算相結(jié)合，實現(xiàn)了無相干自然光的片上邊緣計算。
該研究以「Spectral convolutional neural network chip for in-sensor edge computing of incoherent natural light」為題，于 2025 年 1 月 2 日發(fā)布在《Nature Communications》。
研究背景
隨著人工智能技術(shù)的發(fā)展，CNN 已成為最常用的神經(jīng)網(wǎng)絡(luò)架構(gòu)之一。盡管卷積層使 CNN 能夠從原始圖像數(shù)據(jù)中提取高層次特征，顯著降低了參數(shù)復(fù)雜度，但其巨大的計算開銷仍然制約著在便攜終端的部署。
現(xiàn)有的片上光學(xué)卷積神經(jīng)網(wǎng)絡(luò)通常需要先將自然光轉(zhuǎn)換為相干光，這不僅降低了能量效率，還丟失了包含物質(zhì)信息的光場特征，如光譜、偏振和入射角等，特別是在復(fù)雜視覺任務(wù)中至關(guān)重要的光譜特征。
技術(shù)創(chuàng)新
該研究的核心創(chuàng)新在于提出了一種全新的光電混合計算框架。光譜卷積神經(jīng)網(wǎng)絡(luò)（SCNN）采用光學(xué)卷積層（OCL）與可重構(gòu)電子后端相結(jié)合的架構(gòu)，既保留了光學(xué)計算的高并行度和低功耗優(yōu)勢，又兼顧了電子電路的靈活性。OCL 通過在 CMOS 圖像傳感器（CIS）上集成大規(guī)模像素對齊的光譜濾波器實現(xiàn)，可直接處理包含空間和光譜信息的自然光數(shù)據(jù)。
研究團隊開發(fā)了兩種光譜濾波器實現(xiàn)方案：一種基于超表面，具有優(yōu)異的光譜調(diào)制能力；另一種采用顏料，可在 12 英寸晶圓上實現(xiàn)量產(chǎn)，適合規(guī)模化生產(chǎn)。
在技術(shù)實現(xiàn)上，每個光譜濾波器精確對準(zhǔn)一個 CIS 像素，K = k × k 個 CIS 像素構(gòu)成一個超像素，N = n × n 個超像素形成一個光學(xué)卷積單元（OCU）。整個 OCL 由 H × W 個相同的 OCU 組成，實現(xiàn)了大規(guī)模并行的二維卷積運算。OCL 的計算速度與 CIS 的成像速度同步自適應(yīng)，確保實時處理能力。
實驗表明，該系統(tǒng)能夠根據(jù) CMOS 圖像傳感器的成像速度自適應(yīng)地進(jìn)行實時計算，數(shù)據(jù)吞吐量降低了 96%，顯著減輕了電子后端的計算負(fù)擔(dān)，并且通過光學(xué)卷積層實現(xiàn)了高能效的計算。
實驗驗證
研究團隊通過多個實際應(yīng)用驗證了 SCNN 的性能，包括面部防偽和甲狀腺疾病診斷。
在面部防偽任務(wù)中，SCNN 芯片能夠有效識別高保真硅膠面具，測試集包含 31 個不同人的 108 個測試樣本。在甲狀腺疾病診斷任務(wù)中，SCNN 芯片對正常甲狀腺組織和四種不同疾病的組織進(jìn)行了自動診斷。
在面部防偽識別任務(wù)中，同一片 SCNN 芯片通過重新設(shè)計和訓(xùn)練電子網(wǎng)絡(luò)層，能夠準(zhǔn)確識別高仿硅膠面具。實驗結(jié)果顯示，在包含 31 個不同人物的 108 個測試樣本上，芯片實現(xiàn)了圖像級 100% 和像素級 96.23% 的準(zhǔn)確率。
圖示：SCNN 用于與人臉識別相關(guān)的多項視覺任務(wù)。（來源：論文）
在甲狀腺病理組織診斷任務(wù)中，芯片對正常組織和四種疾病（單純性甲狀腺腫、毒性甲狀腺腫、甲狀腺腺瘤和甲狀腺癌）的分類準(zhǔn)確率達(dá)到 96.4%。
特別值得注意的是，當(dāng)移除 OCL 僅使用普通的 CIS 時，圖像級診斷準(zhǔn)確率從 96.4% 下降至 93.6%，而像素級準(zhǔn)確率從 82.0% 顯著下降至 60.6%，充分證明了光譜信息處理的重要性。
圖示：SCNN 診斷甲狀腺組織學(xué)切片的實驗結(jié)果。（來源：論文）
結(jié)語
光譜卷積神經(jīng)網(wǎng)絡(luò)（SCNN）芯片的提出，為在傳感器內(nèi)直接處理非相干自然光提供了一種創(chuàng)新的解決方案。該技術(shù)在降低計算成本、提高能效方面具有顯著優(yōu)勢。
雖然 OCL 的權(quán)重在特定應(yīng)用中是固定的，且計算速度依賴于 CIS 的成像速度，但 SCNN 為邊緣計算和人工智能硬件發(fā)展提供了新的技術(shù)路線，具有廣闊的應(yīng)用前景。
論文鏈接：https://www.nature.com/articles/s41467-024-55558-3
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認(rèn)可。 交易和投資涉及高風(fēng)險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
