新火種
2025-05-10 
筆記本跑百億大模型？在AMD這里沒問題
在沖向 AI PC 的賽道上，每一個芯片、設(shè)備企業(yè)都生怕落后。
這場競速賽，目前蘋果生態(tài)大幅領(lǐng)先，愛范兒在上周的 Mac Studio 評測中，成功在本地部署并運行 DeepSeek Q4 量化版 671B 和 70B 版本，而且 token 吞吐性能不錯，展現(xiàn)了 M3 Ultra 芯片以及高達 512GB 統(tǒng)一內(nèi)存的實力。
而在 x86 陣營這邊，目前最有競爭力的「車隊」AMD，正在試圖加速超車。
在 3 月 18 日舉辦的 AMD AI PC 創(chuàng)新峰會上，公司高級副總裁、計算與圖形總經(jīng)理 Jack Huynh 展示了在 AMD 架構(gòu)筆記本電腦上運行 DeepSeek 大模型的能力。
根據(jù)現(xiàn)場展示，一臺搭載 AMD 銳龍 AI Max+ 395 處理器的筆記本電腦，順利運行了 DeepSeek-通義千問融合 7B 大模型。Token 秒速并沒有公開，但根據(jù)現(xiàn)場肉眼觀測的結(jié)果，結(jié)合我們過往在不同機型上測試的經(jīng)驗，現(xiàn)場速度應(yīng)該至少能夠達到 15 tok/s 以上。
需要說明的是，根據(jù)現(xiàn)場 demo 區(qū)顯示，這一部署和運行結(jié)果依賴 AMD StrixHalo LLM 軟件，一個 AMD 開發(fā)的大模型運行環(huán)境。根據(jù)我們的理解，背后邏輯簡單來說，AMD 會對支持的大模型進行內(nèi)部優(yōu)化，顯著降低單位 token 激活參數(shù)成本，然后再將支持能力通過銳龍 AI 軟件實裝到用戶本地設(shè)備。
而銳龍 AI Max 處理器家族本身也支持了更高的顯存分配能力。在現(xiàn)場我們看到，AI Max 支持最高 96GB 的顯存分配，讓處理器集顯獲得了高端獨立顯卡才能實現(xiàn)的性能，而這一性能既可以用于 AI 訓(xùn)練和推理計算，也可以用于游戲。
經(jīng)過優(yōu)化之后，參數(shù)量再大也不愁。在 demo 區(qū)的示例中我們看到，前述同款芯片在華碩 ROG 幻 X 2025 款筆記本電腦上，最高可以運行 Meta 開發(fā)的 Llama 3.1 70B 大語言模型。
盡管參數(shù)量極大，過往對硬件要求也極高，遠超過去業(yè)界對于移動計算設(shè)備本地推理能力的認知上限——筆記本電腦現(xiàn)在也可以順利且輕松地運行數(shù)百億參數(shù)量的大模型了。
AMD 這樣做的目的，是確保基于大模型的企業(yè)級應(yīng)用和科研能力，能夠被普及到 x86 陣營的筆記本，甚至配置更輕便的移動計算設(shè)備。目前，AMD AI PC 環(huán)境支持 DeepSeek 1.5B、7B 等主流型號的大模型。
如果筆記本不足夠的話，AMD 也為真正的重型用戶提供了能夠運行 DeepSeek R1 全參數(shù)大模型的服務(wù)器方案，領(lǐng)先了英偉達一步（后者可能會在明天凌晨更新 AI 計算集群模塊化產(chǎn)品）。
現(xiàn)場展示了兩種不同方案，其一是 AMD 自主的方案，基于 vllm 框架，采用 8 x W7900/78000 顯卡，可以完全離線本地部署 DeepSeek 671B，為企業(yè)內(nèi)部研發(fā)和知識產(chǎn)權(quán)保駕護航。
其二是 AMD 和群聯(lián)電子合作的 aiDAPTIV+ 方案，大致邏輯是讓顯卡通過 NAND 閃存擴展內(nèi)存，從而打破單卡的顯存瓶頸。通過現(xiàn)有 AMD 顯卡，同樣可以在單機的形態(tài)下實現(xiàn) DeepSeek 671B 全參數(shù)級別訓(xùn)練的能力。
當然，大多數(shù)人只是純粹的 AI 應(yīng)用用戶，而非開發(fā)者。所以 AMD 在這次峰會現(xiàn)場也和 OEM 合作伙伴一起，展示了各類主流形態(tài)的消費級 AI 應(yīng)用。
很有意思的是現(xiàn)場的 demo 之一，由清醒異構(gòu)開發(fā)，基于 AMD Ryzen AI 平臺的大模型圖片生成工具「繪夢師」。它支持文生圖、圖生圖、邊畫邊生圖等生成模式，而且完全可以在本地運行，不需要聯(lián)網(wǎng)。
再比如聯(lián)想展示的個人智能體「小天」作為 PC 端的 AI 入口，其背后的大模型可以根據(jù)個人數(shù)據(jù)訓(xùn)練和優(yōu)化，在前臺具備任務(wù)分解和規(guī)劃、自然交互、長期記憶、工具調(diào)用等能力。
最近一年時間里，AI 技術(shù)發(fā)展的太過于迅猛，能力上限一再提高，大模型可選項也與日俱增。但受制于設(shè)備本地計算能力，PC 行業(yè)也在面臨很大的挑戰(zhàn)。
而考慮到最大的友商目前面臨非技術(shù)困難，AMD 作為 x86 陣營另一個底層計算技術(shù)頭部廠商，認為自己必須肩負責任，迎接挑戰(zhàn)，領(lǐng)導(dǎo)變革，讓 AI 能夠真正通過 AI PC 進入千家萬戶和千行百業(yè)。
在峰會上，AMD 給了 OEM 合作伙伴很大的露出機會。包括微軟、聯(lián)想、華碩、宏碁、惠普等生態(tài)合作伙伴，紛紛帶來了基于最新 AMD 銳龍 AI 處理器家族的 PC 新品。
AI PC 的品牌和機型的選擇權(quán)寬度，AI PC 產(chǎn)品本身的大模型運算能力，以及不同消費級場景的應(yīng)用豐富度，對于 PC 品牌和芯片廠商們在 AI 時代守住本陣營市場份額尤為重要。
相關(guān)推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責任。
