新火種
2024-02-27 
安卓率先跑通多模態(tài)大模型，終端本地就能看圖生成文本！高通：WiFi都會AI起來
多模態(tài)大模型，首次本地部署在安卓手機上了！
現(xiàn)在，對著手機AI助手，輸入照片、語音，都能自如對話，所有功能完全在終端側(cè)運行。
MWC 2024首日，高通就放大招，通通聚焦終端側(cè)AI。
手機上能跑多模態(tài)大模型之外，全球首個在Windows PC上運行的音頻推理多模態(tài)大模型演示，也來了。
它能理解音頻并進行推理、可實現(xiàn)語音輸入的多輪對話。
最后，高通還發(fā)布了面向開發(fā)者的AI Hub，讓開發(fā)者可以更加方便在手機、PC上開發(fā)大模型應(yīng)用，目前已支持超過75個大模型。
以及連WiFi系統(tǒng)都要被AI增強了，高通最新一代WiFi 7解決方案FastConnect 7900，同樣面向混合AI時代而來，是全球首個使用了AI增強的WiFi系統(tǒng)。
高通這一套組合拳，只為證明一件事：終端側(cè)AI趨勢，現(xiàn)在已經(jīng)到來。
終端側(cè)AI已經(jīng)到來
高通這一次秀肌肉，核心展示了生成式AI在手機、PC端側(cè)運行的新突破。
而且在官方資料中，多次強調(diào)了“所有功能完全在終端側(cè)運行”——但尚未明確是否都是在不聯(lián)網(wǎng)條件下實現(xiàn)的。
不過總而言之，終端側(cè)能跑更多AI大模型，對于終端變革、用戶價值變革，絕對都是大消息。
具體細節(jié)，來看官方放出的演示。
安卓機方面，高通將生成式AI的本地運行拉升到了多模態(tài)級別。
首個在Android智能手機上運行的大語言和視覺助理大模型（LLaVA），可接受包括文本和圖像在內(nèi)的多種類型的數(shù)據(jù)輸入，并可基于輸入內(nèi)容進行多輪對話。
現(xiàn)在，用戶可以拍一張照片向AI助手提問：
AI助手就能基于照片信息給出回答。所有功能都完全在終端運行，可以進行多輪對話、保障響應(yīng)速度。
另外，高通還發(fā)布了可在安卓手機上運行LoRA的實例。
LoRA能在不改變底層模型的前提下，調(diào)節(jié)或定制模型的生成內(nèi)容，通過使用大小僅為模型2%的適配器，即可個性化定制生成式AI模型。
比如Stable Diffusion就可以通過LoRA進行定制化調(diào)整。大語言模型也可以通過LoRA定制為個人助理、改進翻譯能力等。
PC方面同樣強調(diào)多模態(tài)能力的本地部署。
現(xiàn)在，在Windows PC上可以運行音頻推理多模態(tài)大模型，能夠?qū)崿F(xiàn)由語音完成多輪對話。
搭載驍龍X Elite的Windows PC將可以理解鳥叫、音樂或者各種聲音。比如它能聽歌進行相似推薦。
與此同時，高通還“翻譯”了一下什么叫真正意義上的AI PC。
驍龍X Elite的NPU運算能力高達45TOPS，兩臺設(shè)備同時運行集成Stable Diffusion插件的GIMP（一款廣受歡迎的圖像編輯器）進行AI圖像生成。驍龍X Elite只需7.25秒就能生成一張圖像，速度是X86競品（22.26秒）的3倍。
開發(fā)者方面，高通推出全新AI Hub。
它支持超過75個模型，傳統(tǒng)AI模型和生成式AI模型都有，比如ControlNet、Stable Diffusion、Baichuan-7B等，可在驍龍和高通平臺上部署。
開發(fā)者選擇好所需模型、所用框架，確定目標平臺（比如特定型號手機或芯片）。高通AI Hub就可以為開發(fā)者提供面向指定應(yīng)用、指定平臺進行優(yōu)化的模型。只需幾行代碼即可獲取模型，并將模型集成進應(yīng)用程序。
高通表示對AI Hub支持的每個模型都進行了優(yōu)化，基于高通的AI引擎可以達到4倍推理加速，同時占用內(nèi)存帶寬和存儲空間也將減少。
這些優(yōu)化模型可在高通AI Hub、Hugging Face和GitHub上獲取。
首個AI增強的WiFi 7系統(tǒng)
為什么要用AI增強WiFi？
因為高通認為，AI的未來是混合AI，也就是需要跨云端、終端和邊緣云。
因此也給連接提出更高要求。
在MWC 2024上，高通帶來全新一代WiFi 7解決方案：高通FastConnect 7900系統(tǒng)。
這也是全球首個AI增強的WiFi系統(tǒng)，集成了近距離感知功能。
此外，這也是高通首次在6nm芯片上集成了藍牙、WiFi和超帶寬，達到“以一頂三”的效果。
相較于上一代，7900采用了全新的射頻前端模組和架構(gòu)，在降低40%系統(tǒng)功耗的同時提高能效；該系統(tǒng)還助力減少25%占板面積，從而留出更大的電池空間以提升續(xù)航能力。
而在今年MWC上，高通不僅發(fā)布一系列終端AI技術(shù)，一系列搭載驍龍8 Gen 3的旗艦機也紛紛亮相，比如榮耀Magic6 Pro、OPPO X7 Ultra、小米14 Pro等。
它們帶來了AI擴圖（小米）、AI創(chuàng)建日程（榮耀）、AI圖像消除（OPPO）等功能。
AI手機元年與否或許還有爭議，但終端側(cè)的AI落地，正在在高通的底層驅(qū)動下，走向Everywhere、Everyone……
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風(fēng)險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責(zé)任。
