新火種
2024-12-13 
「后摩智能」倪曉林：未來十年是屬于大模型的時(shí)代，NPU會重塑所有端邊場景｜WISE2024商業(yè)之王大會
11月28-29日，為期兩日的36氪WISE2024 商業(yè)之王大會于北京隆重召開，作為中國商業(yè)領(lǐng)域的全明星盛典，WISE大會今年已經(jīng)是第十二屆，在不斷變化的時(shí)代里見證著中國商業(yè)的韌性與潛力。
2024，是有些模糊且變化多于穩(wěn)定的一年。相比過去十年，大家的腳步正放緩，發(fā)展更加理性。2024，也是尋求新的經(jīng)濟(jì)動力的一年，新的產(chǎn)業(yè)變化對每個(gè)主體的適應(yīng)性提出了更高的要求。今年WISE大會以Hard But Right Thing（正確的事）為主題，在2024，什么是正確的事，成為我們更想交流的話題。
當(dāng)日，「后摩智能」副總裁倪曉林帶來了主題演講，分享了AI與NPU背后所蘊(yùn)含的無限可能與深遠(yuǎn)影響。
以下為演講內(nèi)容（經(jīng)36氪整理編輯）
倪曉林：尊敬的各位來賓大家好！
我是來自「后摩智能」的倪曉林，「后摩智能」是一家基于存算一體的AI芯片公司。今天每個(gè)環(huán)節(jié)都在講AI，各種AI大模型、AI設(shè)備、AI應(yīng)用場景都在飛速發(fā)展。作為AI大時(shí)代的參與者、見證者，我們感到非常榮幸。下面與大家分享后摩智能對于邊端側(cè)AI算力需求變化的一些看法。
后摩智能
2022年11月OpenAI發(fā)布ChatGTP3.5，標(biāo)志著AI 2.0時(shí)代的到來；2023年，大批的本地大模型發(fā)布。AI開始沿著兩個(gè)路徑同時(shí)高速發(fā)展。云端模型持續(xù)沿著scaling law向前演進(jìn)，模型規(guī)模和參數(shù)繼續(xù)增加，不斷探索通用智能的邊界。例如去年發(fā)布的GTP4的參數(shù)就高達(dá)1500B，也就是15000億個(gè)參數(shù)。但追求高通用性、高智商的同時(shí)，也帶來了超高的投入和高昂的運(yùn)營成本。目前已經(jīng)有大批的玩家開始退出了這個(gè)攀高的賽道。
與此同時(shí)，端邊側(cè)出現(xiàn)了更適合本地部署的7B，13B，30B等模型，和大型通用智能相比，這些模型更適合進(jìn)入千行百業(yè)，解決各類實(shí)際問題。和云端“萬模齊發(fā)，百模爭霸”相比，端側(cè)無疑擁有更大的應(yīng)用規(guī)模，每年全球新增智能設(shè)備高達(dá)數(shù)十億臺，全球端邊側(cè)的規(guī)模想象空間更大、前景更廣闊。
另外，端邊側(cè)的AI具有個(gè)性化更懂你、低時(shí)延實(shí)時(shí)性、數(shù)據(jù)隱私等優(yōu)點(diǎn)，例如AI PC，它具有了解你個(gè)人信息的專屬Agent、根據(jù)你歷史文檔建立的本地?cái)?shù)據(jù)庫等。
當(dāng)然，目前我們看到更多的討論還是云端模型，端邊側(cè)模型的還沒有得到普及，我想除了這些軟件的因素以外，還有一個(gè)很重要的影響就是硬件。端側(cè)對的硬件要求和云端不同，可以總結(jié)為“三高三低”：高算力、高帶寬、高精度、低功耗、低延時(shí)、低成本。
CPU顯然無法滿足全部要求，GPU雖然可以滿足三高，但同時(shí)其高成本和高功耗又大大限制了端側(cè)設(shè)備的普及使用。例如如果本地運(yùn)行30B模型，我們需要一塊4090顯卡，但將近2萬塊錢的成本和近500W的功耗讓絕大部分設(shè)備都無法承受。
和云端“訓(xùn)練”場景為主不同，邊端側(cè)大模型基本都以“推理”場景為主。專為本地大模型設(shè)計(jì)的NPU相信更加適合邊端側(cè)的使用。比如我們可以用十分之一的功耗實(shí)現(xiàn)GPU相同的算力，同時(shí)NPU自帶大內(nèi)存，無需通過系統(tǒng)總線占用系統(tǒng)內(nèi)存，就完全可以流暢獨(dú)立運(yùn)行。NPU的成本也大大優(yōu)于GPU，讓現(xiàn)有設(shè)備+AI成為可能。
面對邊端設(shè)備對AI高帶寬、低功耗等需求，傳統(tǒng)的馮.諾伊曼架構(gòu)已經(jīng)面臨巨大挑戰(zhàn)，特別是存儲墻和功耗墻相信很多企業(yè)都已經(jīng)苦不堪言。
存儲墻，是指因?yàn)榭偩€帶寬有限，嚴(yán)重限制了數(shù)據(jù)傳輸?shù)乃俣取?/p>
功耗墻，是指90%以上的功耗是耗費(fèi)在數(shù)據(jù)的搬運(yùn)中，而不是真正需要的計(jì)算和處理。
面對這兩堵高墻，后摩智能采用存算一體的全新架構(gòu)，實(shí)現(xiàn)了存儲單元和計(jì)算單元的高度集成，計(jì)算直接在存儲單元完成，使得功耗大幅下降，帶寬大幅增加。
存算一體的AI芯片實(shí)現(xiàn)了AI能效比2-3個(gè)數(shù)量級提升。算力密度提升高達(dá)50%，時(shí)延較傳統(tǒng)架構(gòu)芯片更是有數(shù)倍提升。這些特點(diǎn)都非常適合邊端側(cè)AI大模型的需求。
后摩智能
目前，后摩智能已經(jīng)自研了兩代存算一體芯片架構(gòu)，針對LLM類大模型，進(jìn)行了專項(xiàng)設(shè)計(jì)。
主要體現(xiàn)在：
1、基于存算一體自研IPU架構(gòu)，提供高并行的浮點(diǎn)和整型算力，自研SFU支持多種非線性算子；自研RVV多核提供了超大通用算力，可靈活支持各類LLM/CV算法；自研C2C接口，具備多顆芯片級聯(lián)擴(kuò)展特性，實(shí)現(xiàn)更大模型的部署。
2、配套的后摩大道軟件工具鏈，簡單易用，兼容通用編程語言。適配存算架構(gòu)的算子庫，高效利用存算IP所帶來的性能/功耗優(yōu)勢，提升部署上線時(shí)間。
2023年和2024年，我們已經(jīng)分別推出了后摩鴻途??H30和后摩漫界??M30兩款NPU芯片，充分展現(xiàn)出了存算一體架構(gòu)在算力和功耗方面的巨大優(yōu)勢。以M30為例，100Tops的強(qiáng)大算力，僅需12W的功耗。
在此提前預(yù)告一下，2025年，后摩將推出基于新一代“天璇”架構(gòu)的最新款芯片，性能將再一次大幅提升，相信這款芯片可以加速端邊設(shè)備部署大模型的進(jìn)程。
后摩智能
為了方便AI設(shè)備方案商及生產(chǎn)商快速部署，我們不僅提供芯片，還提供多種標(biāo)準(zhǔn)化產(chǎn)品形態(tài)，包括力謀??LM30智能加速卡（PCIe）、力謀??SM30計(jì)算模組（SoM）等。對于現(xiàn)有各類終端設(shè)備，通過標(biāo)準(zhǔn)接口加裝NPU，就可實(shí)現(xiàn)本地AI大模型的流暢運(yùn)行。
2009年的移動互聯(lián)網(wǎng)興起，讓我們的手機(jī)從功能機(jī)變成了智能機(jī)。2016年物聯(lián)網(wǎng)的爆發(fā)，讓我們身邊越來越多的設(shè)備變成了智能設(shè)備。這些智能設(shè)備，在現(xiàn)有方案上，通過+AI+NPU的方式，將再次進(jìn)化，成為AI大模型使能設(shè)備。
比如PC，我們看到聯(lián)想已經(jīng)在大面積推廣AI PC了。汽車AI座艙、AI TV、AI會議大屏、AI具身智能機(jī)器人等，它們會成為更懂你、更聰明、更高效的助理、秘書、司機(jī)、文案、美工、程序員、輔導(dǎo)老師等等，為我們提供各種服務(wù)。希望通過后摩智能的AI芯片，助力大家實(shí)現(xiàn)快速升級。
1999 年到 2008 年，互聯(lián)網(wǎng)讓中國幾乎所有的行業(yè)重做了一遍；2009 年到 2018 年，移動互聯(lián)網(wǎng)把中國幾乎所有行業(yè)又重做了一遍。我們相信，未來10年的AI大模型時(shí)代，NPU將重塑所有端邊場景，所有的端邊設(shè)備，都將再重做一遍！
希望與在座各位所有AI的企業(yè)、AI生態(tài)的合作伙伴一起多多溝通，我們一起合作攜手，通過“+AI”的方式，使現(xiàn)有設(shè)備，以及未來將誕生的各種全新型設(shè)備，都能夠流暢地運(yùn)行AI大模型，期待我們一起攜手共創(chuàng)AI的新時(shí)代，謝謝大家！
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
