新火種
2025-01-22 
端側AI隨時上云？這套端邊云協同方案給出了新解法
作者 | 徐豫
編輯 | 漠影
AI手機、AI PC、AI眼鏡等智能設備正逐步AI Agent化，但這些小型終端要用上大模型能力，還差一把關鍵鑰匙，即一套端邊云聯動的解決方案。
智東西1月6日報道，目前，大模型行業正呈現出端邊云協同，以加速端智能場景落地的新趨勢。
過去一年，智能門鎖、AI看護機、AI眼鏡、無人機等多種形態的端側AI產品密集涌入市場，主打輕量化部署，其內置的AI模型通常小而易用。然而，端側設備的功耗和算力仍十分受限，涉及復雜計算的推理任務正在向邊緣和云端轉移。
換句話說，大模型所具備的算力優勢與小模型側重的低成本部署之間，還缺少一座連接的橋梁。字節跳動旗下的云服務平臺火山引擎給出了它們的最新解法。
在2024年冬季火山引擎FORCE原動力大會上，火山引擎邊緣云官宣全面升級其智能邊緣，優化了物聯網平臺、智能平臺、邊緣大模型網關服務，并推出了邊緣原生智能體。這可以看作是一整套基礎設施，可以用這個系統連接起端側小模型應用和邊云大模型能力。
火山引擎邊緣智能技術負責人謝皓解釋道，端側主要提供了OneSDK一站式解決方案，使得端側的嵌入式設備也能用上大模型；邊緣側上線了大模型網關，提升了大模型調用過程的效率和穩定性；中心側會編排一些智能體，降低大模型部署應用的難度；而邊緣原生智能體可面向不同行業定制個性化的智能體。
對于邊緣智能最新技術優勢、邊緣智能新應用場景和邊緣智能下一步發展重點，謝皓也向智東西分享了他的看法。
他認為，邊緣AI的發展當前可以分為基礎設施和應用場景兩個方面來看，前者主要負責解決連接和計算問題，并提供大模型調度和計算推理能力。而邊緣AI應用場景的發展目前仍受限于碎片化和難規模化，謝皓稱，一套支持端邊云聯動的智能邊緣架構多數情況可復用，在一定程度上能拓寬邊緣AI的部署范圍。
為什么要強化AI Agent與大模型的連接，如何安全地實現計算任務的端邊云協同處理，邊緣智能解決方案能應對AI Agent時代的哪些難題？與火山引擎邊緣智能技術負責人謝皓深入溝通后，我們詳細拆解了一站式邊緣智能解決方案的兩大技術優勢。
一、大中小廠都在用，AI Agent調動大模型有新招
從卷大模型技術到卷大模型應用，2024年AI Agent生態迎來了小高潮。據Cookie.fun最新數據顯示，截至2025年1月4日，AI Agent整體市值已經達到173.6億美元，過去7天的漲幅接近50%。
除了資本市場熱度升溫，AI Agent自身能力也得到快速發展。《福布斯》2024年12月底援引業內人士觀點稱，預計2025年將出現能夠依據簡短提示詞執行復雜任務的AI Agent。
在LangChain一份針對2024年AI Agent現狀的調研報告中，1300多名受訪者超半數已經在生產過程中使用Agent。其中員工規模介于100至2000名的中型公司占比63%，最常用Agent來為生產過程提效。
如果該調研進一步擴大篩選范圍，把有計劃應用AI Agent或正在開發AI Agent的公司都算在內，那么AI Agent的潛在和實際用戶比例則高達78.1%。
這也意味著，過去一年大多數公司有意愿引入AI Agent，但可能實際部署時遇到了各式各樣的絆腳石，從而滯后了相關計劃。其中可能不乏一些早前積累了AI模型資源的公司，那么基于一個更通用的邊緣AI基礎架構，按需把AI模型能力遷移至端側設備，或許是其新的出路。
據公開信息顯示，國內的潤欣科技、地瓜機器人、上海一高校等不同領域的公司和單位，都開始加速落地大模型，以刺激業務增長。而這背后用到了火山引擎的邊緣智能基礎架構。
為了更好地適應AI Agent時代，該邊緣智能基礎架構優化了4大方面，包括簡化端智能接入流程，提升邊緣云推理請求的加速性能、推理能力和安全性，增強大模型文件分發、智能體配置等功能，以及新增了多個行業智能體。
謝皓接受智東西采訪時提到這套解決方案所涉及的AI模型，云上服務主要使用豆包大模型，而解析提示詞等步驟則會用到一些帶有行業屬性的、自家微調的傳統CV模型，或者開源的小模型。
二、會節約算力的智能決策器，隱私安全為最高優先級
通常情況下，AI Agent需要依賴云端服務器為其提供大量的算力和算法支持，但同時也面臨著算力資源爭搶和部署成本高昂的問題。相對于云服務而言，端智能在本地設備等端側處理計算任務，能夠有效降低時延和運算成本。
端智能在落地過程中可能會遇到以下四個方面的挑戰，包括多平臺集成、多SDK適配、多重設備身份管理和多種模型協同。對于上述多點聯動的難題，火山引擎邊緣智能上線了OneSDK、OneCredential和OneStop端智能一站式服務解決方案。
1、一站式軟件開發端智能解決方案OneSDK
端側會集成一個軟件開發工具包（SDK），基于該SDK可一站式解決在線升級（OTA）、日志記錄、遠程登入、設備管理等設備運維需求，設備密鑰、設備證書等設備安全需求，以及多模型和多智能體調用的設備智能需求。
同時，端側還提供硬件抽象層（HAL）接口，以便在實時操作系統（RTOS）、其他嵌入式操作系統以及無操作系統的設備上遷移SDK。
2、一站式跨云服務權限端智能解決方案OneCredential
該解決方案支持云上多個平臺間的身份互認和權限穿透，使得設備端可共享一套密鑰和證書，從而允許訪問邊緣大模型網關、物聯網平臺等多項服務。
這一舉措將有效降低設備端的資源占用，以及多份證書的重復創建成本，并且也避免了重復身份認證所帶來的額外服務調用。同時，在滿足安全性的前提下，該做法還提升了設備端的整體性能。
另外，在OneCredential端智能解決方案中，每個設備粒度可按需token配額，以提供針對端側更劃得來的計量和計費策略。
3、一站式企業部署端智能解決方案OneStop
通過深度融合端云技術，OneStop主要為企業降低了端側智能體的開發與接入門檻。
不過，上述端智能解決方案雖然給端側設備接入AI Agent提供了更多技術支持，但還不能一攬子突破端側AI的算力上限。由于算力和內存等條件的限制，端側AI大多采用的是小模型，這也導致其難以兼顧一些復雜的計算任務，或者更加多元化的應用場景。
如果AI Agent消耗算力時，也可以“吃多少拿多少”，自行匹配每次計算任務是調用端側的小模型，還是邊緣或云端的大模型，便能以性價比更高的方式應對較為復雜的人機交互場景。火山引擎邊緣云2024年年底推出的智能決策器，就充當了這個分配過程的總控室。
據公開信息顯示，該智能決策器可以依據提示詞等信息，將任務按需分發至本地、邊緣或云中處理。AI Agent推理請求難點主要是其對提示詞的理解，因此該智能決策器的前端設置了一套提示詞解析流程，即借助一個本地邊緣大模型解析提示詞，然后通過中心位的智能路由把解析結果傳輸給智能決策器。
那么接到一個計算任務時，該智能決策器如何界定需要用到本地、邊緣還是云端的AI模型來處理呢？
其對于計算任務復雜程度的定性主要考慮兩大方面，一方面是基于規則的靜態決策，會綜合考慮功耗、機型和溫度等因素；另一方面是基于模型的動態決策，會從小模型、隱私判斷和任務判斷等維度考量適用情況。
但當決策結果出現矛盾時，數據安全和隱私將成為首要考慮原則。其決策先后順序大致分為以下幾步：計算任務的安全和隱私級別較高時，智能決策器的推理過程被要求僅調用本地模型；而計算任務的安全和隱私級別適中時，智能決策器再結合計算任務的復雜程度分流，涉及隱私的優先在本地處理，較為復雜的則傾向于調度至邊緣或云端開展推理。
以智能座艙為例，車內攝像頭可能會拍攝記錄到一些涉及隱私的對話和行為，謝皓稱這種情況下智能決策器會傾向于本地化處理，但如果是需要聯網、涉及影像插件等較為復雜的操作，更多時候會交給云上大模型處理。
在智能決策器決定將推理請求轉發至本地設備外的過程中，具備標準接口、就近訪問、推理加速和高魯棒性四大核心能力的火山引擎邊緣大模型網關，會提供進一步的支持，以提升邊緣和云端“大腦”的訪問效率。
具體來看，在標準接口方面，邊緣大模型網關適配約20家主流大模型廠商，以及多家智能體提供商，實現與OpenAI相一致的標準接口，從而簡化了開發流程。
在就近訪問方面，邊緣大模型網關通過全球范圍的邊緣節點和智能流量調度策略，來實現端側設備的就近快速接入，并降低延遲。
在推理加速方面，邊緣大模型網關采用了多種緩存技術和邊緣推理方法，有效提高了查詢速度，并增強了整體性能。
在高魯棒性上，邊緣大模型網關設置了跨模型廠商的故障遷移機制，并應用了錯誤重試策略，以此增強請求處理的魯棒性，使得計算任務處理的連續性和可靠性更強。
三、能聯動四方的邊緣原生智能體，支持AI Agent就近上云
邊緣原生智能體是AI模型端側落地的一個重要形式。
火山引擎方面提出了邊緣原生智能體的四大必備能力，包括理解設備能力、連接物理世界、單智能體協同和多智能體協同。這也各自對應了人機交互場景中動態捕捉和理解信息、自主感知或操作設備、單智能體完成特定任務、多智能體配合完成復雜任務的需求。
其中，為了完善邊緣原生智能體自主感知、操作設備的效果，火山引擎選擇聯動自家的低代碼平臺“扣子”，通過定制插件和工作流來實現邊緣智能與家用設備、工業設備、車載設備等物理世界實體的連接。火山引擎方面稱，目前邊緣原生智能體已應用于相關智能數字工廠和智慧園區，涉及工業質檢、園區安防等領域。
現階段，火山引擎邊緣云的分布式云網基礎設施在海內外共有2500多個邊緣節點，其網絡時延控制在較低的1至40毫秒區間，支持端邊互聯、邊邊互聯和邊云互聯場景，從而實現智能應用就近上云。
同時智能應用從端側遷移到邊緣或云端的過程中，無論是單智能體內部的端邊云互傳，還是多智能體之間的協同連接，都依賴于一個安全傳輸網絡。對此，火山引擎邊緣云在DDoS防護、邊緣WAF和頻次控制等傳統安全防護措施的基礎上，新增了針對AI Agent的邊緣安全防護功能，包括提示詞檢測、系統提示詞防御、結果檢查等。
結語：從各司其職到取長補短，端邊云協同成AI應用大勢
當前，雖然大模型種類、性能及其開發商都較為多元，可供支持部署AI Agent的選擇比較多，但芯片、算力、能源等大模型相關資源仍處于僧多粥少的階段，因此中小型公司在AI Agent的部署上，常常難以搶跑大公司。但如果只用成本較低的端側AI，又還不足以覆蓋公司所有的生產提效需求和場景。
端邊云協同處理AI任務將有效降低AI應用部署的成本，節約算力和功耗，進一步降低中小型公司引入AI Agent的門檻。
同時，支持端邊云協同的邊緣智能基礎架構，有助于不同行業快速借鑒、定制可行的AI模型落地樣本。從火山引擎邊緣云現階段公開的成果來看，具身智能、端智能芯片、智能玩具、創新教育等行業內都拿出了實戰案例。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
