d-Matrix首款AI芯片出貨:數字存算一體DIMC技術、速度提升10倍
11月20日消息,微軟投資的硅谷初創公司d-Matrix近日宣布,其首款人工智能芯片Corsair開始出貨。
d-Matrix表示Corsair在單臺服務器中為Llama3 8B提供每秒處理60000個tokens的性能,每個tokens的延遲為1毫秒。
該公司聲稱,與GPU和其他替代方案相比,Corsair提供了性能、能源效率和成本節省。
對于AI推理運算,數據傳輸是最大的瓶頸,它需要大量內存,也需要非常快的內存,但兩者卻很難兼顧。
目前的解決方案主要有三種,第一種是通過采樣和流水線減少處理的數據量來加速深度學習,但也限制了準確性和精確性。
第二種是在傳統的處理器附近設置專用AI引擎的處理器,蘋果、英偉達、Intel和AMD都采用這種方式,但這要集成SRAM和外部DRAM,仍然是高能耗和低效率。
第三種是將計算移動到內存附近,也就是d-Matrix采用的方法,這種叫數字存算一體(DIMC)的技術架構降低了延遲,減少了消耗。
因此非常適合AI推理,因為推理會涉及一個相對靜態(但大型)的權重數據集,這個數據集被反復訪問,DIMC消除了大部分能量轉移費用和數據移動的延遲。
得益于DIMC,Corsair可提供150TB/s的超高內存帶寬,交互速度提高了10倍,能效提高了3倍。
其他方面,Corsair芯片采用行業標準的PCIe Gen5全高全長卡外形,通過DMX Bridge卡連接成對的卡。
每張Corsair卡都由多個DIMC計算核心驅動,具有2400 TFLOP的8位峰值計算能力、2GB的集成性能內存和高達256GB的片外容量內存。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。