新火種
2023-11-18 
只憑CPU/GPU性能換機的時代，過去了
原文來源：硅星人
圖片來源：由無界 AI生成
上周，一款全新“小“設備點燃了全球科技界的熱情。它就是由OpenAI CEO Sam Altman投資的、人類歷史上第一款真正的AI硬件——AI Pin。
AI Pin使用時直接別在胸前 自：Humane官方
這款別在胸前、被眾多媒體冠以“AI時代iPhone”的硬件，在設計突出一個“激進”，直接砍掉了過往中樞移動設備肯定有的顯示屏，還要獨立于智能手機運行。
官方演示中AI Pin可以直接計算手中的杏仁有多少克蛋白質(zhì) 自：Humane官方
在應用層面，由GPT4驅(qū)動的AI助手既是系統(tǒng)，也是唯一的App。用戶的語音命令就是最主要的操控方式。剩下的激光投射和手勢識別，僅僅是作為整個交互系統(tǒng)的補充存在，以非常簡單的界面和操控為用戶提供包括信息、天氣、時間、日期、導航等內(nèi)容。
知名開發(fā)者Steven Tey表示AI Pin讓他想起了當年iPhone的發(fā)布
這種對于整個移動互聯(lián)網(wǎng)時代交互邏輯的顛覆，讓AI Pin獲得了很多極客用戶的喜愛。
而大多數(shù)普通用戶的想法，其實是“希望將這種交互和能力，內(nèi)嵌到智能手機之中”，讓智能手機再次獲得升級。
顯而易見，隨著大模型的各種能力逐步落地，消費者即將進入一個考慮自己的移動設備能否流暢運行AI能力，而不是只考慮CPU、GPU絕對性能的時代。而這，必將帶來新的挑戰(zhàn)和機會。
移動端普及AI大模型，有哪些挑戰(zhàn)？
首要的，是來自于AI大模型提出的全新計算能力需求。
與手機和筆記本之前面對各種系統(tǒng)、軟件負載不同，大模型相比過往的AI應用，在神經(jīng)規(guī)模大小、計算量、存儲空間、讀寫速度的需求上，有了數(shù)十倍的增長。
GPT-3和GPT-4的參數(shù)規(guī)模對比 自：medium
以OpenAI最新的GPT-4模型為例，據(jù)行業(yè)內(nèi)傳聞就有高達1.8萬億個參數(shù)，而其2018年發(fā)布的GPT-1，僅有1.1億個參數(shù)。規(guī)模相差10000倍。
即便是移動端大模型應用階段對模型進行瘦身，但實際應用的推理模型參數(shù)量也將高達70億-100億個參數(shù)。再靠過往的移動端升級CPU和GPU硬件規(guī)格的方法，肯定無法滿足數(shù)倍乃至數(shù)十倍增長的AI計算需求。
解決新增需求的方法只有兩個，要么聯(lián)網(wǎng)，用網(wǎng)絡把計算過程“轉(zhuǎn)移”到云端。要么想辦法提升計算力，在本地直接計算出結果。
開篇介紹的AI Pin，產(chǎn)品中就打包整合了美國運營商的聯(lián)網(wǎng)服務，其每月24美元的月租，除了掏錢買OpenAI的服務能力之外，也有移動網(wǎng)絡的花費。
這套看似“簡潔”的處理方法，同樣存在著不少的疑問。
首先是最危險的隱私問題，將個人的數(shù)據(jù)、個人絕大多數(shù)的生活點滴，甚至是一些極其私人的信息全部任由AI Pin這樣的硬件上傳，會導致數(shù)據(jù)安全隱患。
退一步說，把所有AI計算需求放在云端，由本地上傳數(shù)據(jù)再下載數(shù)據(jù)的方式，網(wǎng)絡的質(zhì)量將極大影響最終使用的體驗。尤其是在移動網(wǎng)絡覆蓋本就不如中國好的海外，卡頓乃至無響應大概率都會出現(xiàn)。
成本上的挑戰(zhàn)也同樣值得關注，一次性購買的本地計算能力，雖然比連續(xù)訂購的云上算力先期投入大，但全生命周期往往要劃算得多。就以AI Pin為例，699美元的起售價，每個月還要付24美元的租金，實屬不便宜。
整合以上三點，不難得到一個結論：AI大模型在移動端實現(xiàn)本地化，才是最優(yōu)解。
相應地，移動設備行業(yè)需要進行一次從底層硬件到頂層生態(tài)的全面升級。
搶跑AI時代的高通
回望整個移動端市場，有能力推動這場全面升級的玩家，已經(jīng)參與其中付出努力的更是少數(shù)，高通恰恰是其中一個。
在年初的MWC2023上，高通就展示了生成式AI模型——Stable Diffusion在第二代驍龍8賦能的智能手機上的運行。Stable Diffusion模型的規(guī)模為10億參數(shù)，第二代驍龍8可以在15秒內(nèi)執(zhí)行20步推理，把文字提示生成一張圖像。
第三代驍龍8移動平臺亮點一覽
而在高通最近發(fā)布的全新旗艦移動平臺第三代驍龍8上，高通AI引擎的核心Hexagon NPU再次升級，整體性能再度提升了98%，能效也提升了40%。
在更細分的性能緯度，最新的Hexagon NPU通過集成更強的高通傳感器中樞，包括2個始終感應ISP、1個DPS、2個micro NPU，增加30%的內(nèi)存以及對INT4計算模式的支持，讓其AI運行性能最大提升3.5倍。
直觀上的結果是，第三代驍龍8能夠運行高達100億參數(shù)的生成式AI模型，并以20 tokens/s的速度運行大語言模型。并且這不僅僅只是支持的數(shù)字而已，而且是已經(jīng)可以實現(xiàn)的能力。
如此強大的性能，讓第三代驍龍8已經(jīng)能夠在本地運行很多AI大模型相關的應用。
榮耀手機CEO趙明就在驍龍峰會上演示了手機上的生成式AI用例，能夠支持在手機上完成主題視頻的創(chuàng)作。手機系統(tǒng)可以自己在本地媒體庫中檢索出具有相同主題的圖片和視頻，然后讓AI大模型進行視頻編輯。
用戶后期可以通過與AI對話更改背景音樂和模板，這一整個過程，未來將完全在本地進行，絲毫不用擔心私人照片視頻數(shù)據(jù)在上傳到云端之后不小心泄露。
而在小米14系列上，已經(jīng)適配的WPS不僅持輸入主題一鍵生成PPT演示文稿，還可以識別帶有文字的圖片和文章，實現(xiàn)“一目十行”掃描閱讀，提煉出重點，用戶可以按照自己最想要知道的問題向AI直接提問。
小米14上的WPS功能演示
針對論文、合同、課件等文件，WPS AI通過掃描識別進行翻譯、概括、查詢定位等，可幫助用戶進行全文理解分析和總結，同時提供文檔溯源功能，確保準確性、真實性。
在強大的第三代驍龍8移動平臺之外，高通在此次峰會上還推出了迄今為止其面向PC打造的最強計算處理器：驍龍X Elite。
其中在CPU部分，高通祭出了兼容ARM指令集的前提下完全重構的Oryon CPU，官方表示其單核性能領先蘋果M2 Max約14%，且功耗減少30%；同時CPU單線程性能超過了專門為高性能游戲終端而設計的i9-13980HX，并且在相同性能水平下功耗減少70%。
GPU部分的Adreno GPU性能也有所提升，達到4.6萬億次浮點運算(TFLOPS)，同時支持4K@120Hz HDR10屏幕，并可以擴展三個UHD或者兩個5K外接顯示器。
最為亮眼的當屬NPU部分，相比手機移動平臺，X Elite的異構算力進一步提升，達到75TOPS，其中Hexagon NPU支持45TOPS算力。出色的性能讓其已經(jīng)可以實現(xiàn)在本地運行130億參數(shù)模型；運行70億參數(shù)大語言模型可以每秒生成30個token。
在驍龍峰會的現(xiàn)場，知名視頻剪輯軟件達芬奇的制作方Blackmagic Design也給出了驍龍X Elite在AI方面的使用效果：對于支持AI的計算密集型Magic Mask，驍龍X Elite比采用集成GPU的高端十二核Windows處理器快1.7倍；Magic Mask在集成NPU上運行，比在相同的12核處理器上運行快3倍。
驍龍X Elite芯片亮點一覽
手機端和筆記本端出色的運行結果背后，除了高通強大的芯片性能之外，也有著高通整體AI軟件棧的功勞。例如這一次峰會上，高通就宣布了增加對ONNX Runtime快速訪問驍龍芯片、對Microsoft計算驅(qū)動程序模型（MCDM）的支持。
前者是一個是微軟推出的推理框架，支持多種運行后端，開發(fā)者在制作相應的推理應用時，可以更加高效；至于對MCDM的支持，未來高通NPU在Windows系統(tǒng)中的調(diào)用將會更加高效直接。
高通在生態(tài)方面的這些努力，在幫助終端廠商伙伴打造出色產(chǎn)品的同時，也吸引了越來越多獨立軟件開發(fā)商(ISV)和開發(fā)者加入到高通的生態(tài)中來，推動AI大模型應用在高通平臺上的落地和推廣。
仍在加速的高通
從啟動首個AI研究項目至今，高通在AI領域已經(jīng)深耕十余年。多年來在移動平臺中的技術積累，以及對AI能力的不斷探索，最終在如今AI大模型落地的瞬間爆發(fā)出來。
按照半導體行業(yè)芯片3年左右的開發(fā)周期推算，這次新登場的、性能極為出色的第三代驍龍8移動平臺和驍龍X Elite，早在2020年左右就已經(jīng)進入了開發(fā)程序，可見高通對于移動設備、人工智能行業(yè)的深度理解與把握。
這種對于最前沿技術的追求、對于為用戶帶來最極致體驗的初心，驅(qū)動著高通不斷向前發(fā)展。也讓從3G/4G時代憑借通信技術、手機SoC平臺化崛起的高通，再次抓住了AI大模型這一難得的機遇。
這樣的高通，自然也會成為接下來不再只關注移動設備基礎處理性能，而是更關注AI性能的消費者的首選。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內(nèi)容相關的任何行動之前，請務必進行充分的盡職調(diào)查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責任。
