新火種
2023-11-01 
當AI焦點從大模型轉向應用，英偉達的GPU霸權就沒那么牢固
主導生成式AI熱潮的英偉達，還能在鐵王座上坐多久？
知名科技博主Pete Warden近日撰寫了一篇題為《為什么英偉達的AI主導權只是暫時的》(Why Nvidia’s AI Supremacy is Only Temporary) 的博客文章，他指出，英偉達的GPU霸權，實際上建立在目前行業主流需求是LLM訓練上，如果未來推理變得更加主流，那贏家將從英偉達變成CPU制造商。
英偉達為什么能贏？首先，哪些因素促成了當前的英偉達的領先地位？
Warden總結了4點：
1）大模型應用還沒有迎來爆發期，目前機器學習的重點是訓練
Warden指出，有能力在實際應用場景中部署大語言模型的只有幾家科技巨頭。大多數公司還處在較早的開發期，需要大量數據、硬件和人才來完成LLM的訓練。
2）英偉達的對手們沒有一個能打的
對于大模型開發者而言，英偉達GPU是最簡潔高效的選擇。它操作起來比AMD OpenCL、Google TPU、Cerebras等競品要簡單得多，軟件棧要成熟得多，有更多的示例、文檔和其他資源。
而且，找到熟悉英偉達GPU的工程師要容易得多，它與所有主要框架的集成也更好，再加上CUDA平臺帶來的軟硬一體的協同效應，英偉達完全做到了贏者通吃。
3）AI研究者偏好使用英偉達GPU
高度稀缺的AI人才，可以說是目前招聘市場上最有話語權的一群人。
而Warden認為，對這些人來說，英偉達平臺是最熟悉的生產力工具，如果使用其他平臺，需要更多時間上手，也會限制他們的生產力。由于聘用和留住研究人員的成本非常高，因此在購買硬件時，這些人的偏好是優先考慮的因素之一。
4）大模型快速迭代的需求，意味著廠商會通常會固定用一個品牌
如果一家公司上一代大模型是用英偉達GPU開發的，那么下一代大概率還是會用英偉達。道理很簡單，這是迭代耗時最短、效率最高的選擇，通過無縫遷移到新的硬件，現有的代碼大部分都能正常工作，但速度會更快。
競爭對手也許有望在性能上擊敗英偉達GPU，但英偉達的CUDA經過十幾年的研發，已經有了一套完整的生態系統。
Jon Peddie Research發布的全球GPU市場數據報告顯示，英偉達以84%的市場份額排名第一，排名第二的AMD僅有12%。穩固的先發優勢，構成了一道幾乎不可逾越的護城河。
如果AI的主旋律從訓練轉向推理…但是，Warden相信，以上都有讓英偉達領先的因素，都基于一個重要前提：訓練占據生成式AI浪潮的主導地位。
他指出，在未來的某一天，任何公司用于根據用戶請求運行模型的計算量都將超過訓練周期。即使單次訓練運行的成本很高，而運行推理的成本很低，但世界上有如此多的潛在用戶，有如此多的不同應用，這些推理的累積總數將超過訓練總數。
從這個趨勢來看，對硬件端而言，重點將轉向降低推理成本。對面向用戶的應用而言，最重要的工作是降低延遲。
這不是GPU的強項，而是CPU的領域。
Warden指出，雖然CPU在大模型訓練時的速度“慢得令人發笑”，但當推理在整個人工智能預算中占主導地位時，對硬件和工作負載的要求就大不相同了。CPU擁有比英偉達更成熟的開發工具和社區，單位運算成本也比GPU便宜得多。更重要的是，模型權重是固定的，在初始化時很容易在大量機器上復制，
企業關注的是增加收入和降低成本。更多的用戶意味著更多的推理需求。CPU比GPU的推理成本更低，它的需求必然會超過GPU。
Warden預計，這一轉變的贏家將是英特爾x86和Arm等傳統CPU平臺。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
