新火種
2024-10-18 
王炸級3nmAI芯片！不聯網生成視頻、幫你點外賣訂酒店
安卓首款3nm、PC級Arm V9架構、第八代NPU——天璣9400，成為了移動AI芯片的最新最強成果！
相比上一代生成式AI芯片天璣9300，其AI能力更上一層樓，榮登蘇黎世ETHZ移動SoC AI性能榜單之首。
天璣9400首次實現了端側DiT架構支持，無需聯網就能在手機上體驗Sora同款架構視頻生成。
還有業界首發的端側LoRA訓練，可以高效離線訓練專屬于自己的LoRA生圖模型，同時保證隱私不泄露。
大模型方面，天璣9400能夠運行的模型窗口文本長度提升到了32K，是天璣9300的8倍。
同時還支持端側運行多模態大模型，并以50 Tokens每秒的超高速度超越了前SOTA。
綜合AI性能方面，天璣9400以6773分的成績領跑了蘇黎世ETHZ移動SoC榜單，是天璣9300的1.4倍。
從整體上看，天璣9400采用臺積電第二代3nm制程，相較上一代單核性能提升35%，多核性能提升28%，同性能功耗降低40%……
此外，聯發科這次不僅把端側AI能力用在了模型運行上，更是集成了天璣AI智能體化引擎（Dimensity Agentic AI Engine）?？梢愿鶕愕男枨髮崿F跨應用操作，而且會記憶你的各種習慣，讓手機越用越聰明、越用越好用。
天璣9400，讓AI手機越用越聰明
先來看看聯發科通過天璣9400為我們帶來的一系列端側AI新功能。
首先，聯發科與小紅書合作，首發了端側SDXL生圖功能。
不僅各種風格都能駕馭，關鍵是整體速度比云端生成還要快兩倍。
而且在Diffusion模型端側化這條路上，聯發科還邁出了更大一步，將視頻生成模型也帶到了端側。
這項技術同樣是業界首發，實現了從靜態圖像到視頻的大跨越。
實際體驗下來，只用不到一分半，一段視頻就生成完成，如果放到云端……恐怕是連隊都還沒排到。
相比之下，端側的算力雖不如云，但勝在專屬于用戶個人，不需要和海量用戶爭搶。
另一個優勢便是，所有數據都在本地儲存和處理，隱私安全更有保障。
說到這里，就要隆重介紹下天璣9400首發的端側LoRA訓練功能——只要有照片，就能訓練出專屬于自己的本地LoRA模型。
利用訓練出的模型，可以生成任意姿態、任意背景的個人寫真，足不出戶拍遍全世界。
還有聯合虹軟推出的端側AI智能修圖功能，通過在端側學習到的用戶人臉信息，可以對模糊的照片智能修復。
相比于傳統的智能超分等處理方式，不僅更清晰，而且能夠保留面部細節，處理出的照片更加自然。
除了一系列重磅功能的首發，天璣9400也打破了多項業界紀錄，比如它的端側多模態模型運算速度達到了50Tokens每秒。
利用面壁智能推出的小鋼炮模型，可以快速識別二元一次方程組圖像并做出解答。
同時還能理解圖片中文字的對應關系，秒速讀懂外文菜單，推薦菜品并直接算好價格。
當然整體AI性能也經得起檢驗，在權威的蘇黎世ETHZ AI Benchmark 6.0榜單中以6773分的總成績排名第一。
該榜單涵蓋了不同類型的34款模型，同時包括int8、int16、fp16等多種，涉及速度和準確性等多種指標，是對AI能力的全面評估。
兼容適配上，聯發科也已經與國內外的9家大模型廠商達成合作，支持了一系列的主流大模型。
在強大的端側AI算力支持下，聯發科提出了“智能體AI手機”的新概念，讓移動終端變得更智慧。
天璣9400中內置的AI智能體化引擎（Dimensity Agentic AI Engine ），能夠將AI模型和應用變成一個個智能體，讓手機變成一個強大的“后援軍團”。
以點外賣這個場景為例，普通的AI助手最多不過是能夠幫助我們打開外賣軟件，但智能體化之后，可以全程通過語音交流，完成從選擇餐點到完成支付的整個過程。
基于通義千問大模型驅動的智能體，現已經支持了多款智能體化應用。
而且隨著使用過程的深入，智能體會記住你的習慣偏好，變得越來越聰明、越來越懂你、越來越好用。
比如根據你的喜好推薦電影，然后根據之前的購票習慣，不用多做解釋就能幫你選好習慣的位置。
當然要實現這樣的效果，除了聯發科自身提供的算力，也離不開生態的支持，從芯片到終端，從模型到應用都必須全面發力。
為此，聯發科聯合vivo、OPPO等多家廠商共同發起了AI智能體化引擎先鋒計劃，一同讓智能體應用生態變得更完整豐富。
另一方面，聯發科也在積極與開發者合作，為AI智能體、第三方應用程序和大模型之間提供統一的標準接口，實現AI跨應用串聯。
這不僅能夠縮短AI產品的開發周期，更有利于加速構建應用更豐富、體驗更出色的AI生態。
伴隨著算力專屬、隱私保障、無網絡運行等需求，發展端側AI已逐漸成為新的共識。
其中，AI手機是端側AI的終極載體，無論是設備保有量還是使用時長，均多于PC產品。
從手機AI科技樹的角度，聯發科是當之無愧的強者，今天的天璣9400將加速手機的智能體化，借助先進的AI技術和生態，豐富和提升人們的生活。
在這背后，必然離不開強大技術的支撐。
軟硬件技術協同發力
在技術上，聯發科在軟硬件兩方面同時進行研發，讓軟硬件共同配合，實現了端側AI的新跨越。
例如，龐大的內存占用是AI模型端側化的一個重要瓶頸，為此，聯發科采取了低位寬KV緩存技術，同時結合分組查詢注意力（GQA）極致 ，降低了50%的內存需求。
此外，天璣9400不僅搭載了聯發科第八代AI處理器——NPU 890，還將模型的運算工作全部放入NPU中，用更適合AI運算特點的NPU來加速運算，具體來說有一系列舉措：
將專家路由等模塊全部轉移至NPU，實現了端側混合專家（MoE）模型的純NPU運算；
對于DiT（類Sora）模型，針對4D、5D的張量，利用NPU硬件獨特的時域神經元硬件指令進行加速；
對于端側LoRA訓練，采用了新的反向傳播算子指令集，將過去C/GPU上的指令，融入到了NPU能夠支持的加速指令中……
聯發科技，作前沿科技的推動者
所以歸結起來，聯發科技的新技術和新產品，究竟在帶來什么呢？
這個問題可以從多個層面來回答。
首先對于終端用戶，是更低門檻的AI普惠。
越來越多的AI能力被帶進端側，意味著手機用戶不用在浩如煙海的云服務中挑的眼花繚亂，直接在本地就能體驗到豐富多彩的AI應用。
另一方面，聯發科天璣9400主導的智能體化應用方式鋪展開來，AI應用的使用也將進一步下沉。
同時還會帶動智能手機的使用門檻進一步降低，讓因種種原因不會操縱手機的老年人等群體，在電子信息時代避免“掉隊”。
第二，是給方興未艾的大模型繼續灌注強心劑。
大模型的前期投入耗資巨大，而開發者想要收回成本，用戶規模是一大必然要素。
而聯發科技憑借終端保有量的優勢，加上模型使用的便捷化，無疑為大模型帶來了更多的應用場景。
當然，對于終端廠商以及聯發科自身，新的功能也是獲得用戶關于端側AI反饋的重要途徑。
隨著越來越多AI概念的產品化、落地化，用戶對AI產品的期望，以及對其不足的認識，都變得更加具體，能夠更有針對性地反饋出改進意見。
總之，這一系列舉措將有望串聯起更完整、更宏大的端側生成式AI生態，讓芯片廠商、終端廠商、應用開發者和用戶共同從中汲取收益，通過相互促進實現產業的共同繁榮。
去年，聯發科技首款端側生成式AI芯片天璣9300正式亮相，已讓更多的人感受到端側特別是手機上的AI開始變得觸手可及。
半年后，天璣9300的升級版9300+又與人們見面，端側AI的戰場變得更加熱鬧，模型和應用側也有越來越多的從業者開始關注終端市場。
天璣開發者大會上，聯發科在芯片、模型及應用等層面與開發者、合作伙伴共同探索端側技術路線，進一步筑起了端側的生態基建。
如今的天璣9400又成為了新的王者級5G智能體AI芯片，并將端側智能從基礎的大模型嵌入，帶到了智能體化這一新的高度，在“智能”與“智慧”之間，畫出了一道新的分水嶺。
PS：首批采用天璣9400芯片的智能手機即將上市，屆時可以通過這些設備體驗到天璣9400更強大的端側AI能力。
AI終端，終端AI，AI即將觸手可及，無處不在。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
