新火種
2024-03-04 
緩存驅(qū)動聯(lián)邦學(xué)習(xí)架構(gòu)來了！專為個性化邊緣智能打造|TMC2024
伴隨著移動設(shè)備的普及與終端數(shù)據(jù)的爆炸式增長，邊緣智能（Edge Intelligence, EI）逐漸成為計算機學(xué)科研究領(lǐng)域的前沿。
在這一浪潮中，聯(lián)邦學(xué)習(xí)（Federated Learning, FL）作為分布式機器學(xué)習(xí)的新范式，不斷吸引著學(xué)術(shù)界和產(chǎn)業(yè)界的關(guān)注。
聯(lián)邦學(xué)習(xí)通過多個設(shè)備協(xié)作訓(xùn)練共享AI模型的同時，避免了私有數(shù)據(jù)的交換，從而既保障了數(shù)據(jù)隱私，又實現(xiàn)了模型訓(xùn)練的分布式進行，成為落實邊緣智能的關(guān)鍵技術(shù)路徑。
然而，如何在保持高通信效率的同時，滿足終端設(shè)備多樣個性化需求的模型訓(xùn)練是一個關(guān)鍵性挑戰(zhàn)。
最新發(fā)表于《IEEE Transactions on Mobile Computing》的論文”FedCache: A Knowledge Cache-driven Federated Learning Architecture for Personalized Edge Intelligence”為這一問題提供了創(chuàng)新性解決方案。
邊緣智能中的個性化
邊緣智能場景下，模型的協(xié)同訓(xùn)練不僅要應(yīng)對設(shè)備硬件差異化的挑戰(zhàn)，還需在優(yōu)化目標、通信效率、隱私保護等方面進行多維度權(quán)衡：
設(shè)備的硬件資源和用戶使用習(xí)慣各異，需要部署既能滿足個性化任務(wù)目標又能適應(yīng)硬件規(guī)模的模型。通信能力的局限性和對隱私的重視要求在協(xié)作訓(xùn)練中最小化通信成本，并且嚴格禁止私有數(shù)據(jù)的共享。設(shè)備連接的不穩(wěn)定性決定了協(xié)同過程中不適合采用同步的通信方式
超越主流架構(gòu)的FedCache
FedCache是一種緩存驅(qū)動的聯(lián)邦學(xué)習(xí)架構(gòu)，旨在為個性化邊緣智能（Personalized Edge Intelligence）提供強有力的支撐。FedCache通過在服務(wù)端維護一個知識緩存，用于捕獲與每個私有樣本關(guān)聯(lián)的最新知識，并使用知識緩存驅(qū)動的個性化蒸餾技術(shù)進行終端設(shè)備模型的訓(xùn)練。
在初始化階段，所有私有樣本通過深度預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)被編碼成哈希值，以便在邊緣采用隱私保護的方式判斷樣本之間的相關(guān)度。
在正式訓(xùn)練階段，終端設(shè)備基于本地樣本索引迭代地向服務(wù)器發(fā)送知識請求，從中取用相應(yīng)的關(guān)聯(lián)性知識，并在設(shè)備上開展基于蒸餾的個性化優(yōu)化。
FedCache的核心在于其獨特的服務(wù)器端知識緩存機制，該機制利用哈希值管理設(shè)備樣本的相似性和關(guān)聯(lián)知識，以優(yōu)化訓(xùn)練過程。
這種獨特的設(shè)計不僅保護了數(shù)據(jù)隱私，還避免了設(shè)備之間的參數(shù)交互，顯著降低了通信負擔(dān)。此外，F(xiàn)edCache允許不同設(shè)備的模型架構(gòu)完全獨立，優(yōu)化目標差異化，且支持異步分布式優(yōu)化。
實驗結(jié)果
本文在四個公開數(shù)據(jù)集上驗證了FedCache的性能。
實驗結(jié)果顯示，主流的個性化聯(lián)邦學(xué)習(xí)方法相比，F(xiàn)edCache的通信效率提高了兩個數(shù)量級，同時在模型性能也能達到相當(dāng)?shù)乃健?/p>
FedCache的這些特性不僅展示了其在架構(gòu)設(shè)計上的創(chuàng)新性，也證明了其在實際應(yīng)用中的巨大潛力。
通過這種緩存驅(qū)動的聯(lián)邦優(yōu)化方法，F(xiàn)edCache預(yù)期引領(lǐng)個性化邊緣智能的未來，為分布式AI的實施開辟新的道路。
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風(fēng)險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責(zé)任。
