新火種
2023-12-26 
4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%
機器之心報道
機器之心編輯部
PowerInfer 使得在消費級硬件上運行 AI 更加高效。
上海交大團隊，剛剛推出超強 CPU/GPU LLM 高速推理引擎 PowerInfer。
速度有多快？
在運行 Falcon (ReLU)-40B-FP16 的單個 RTX 4090 (24G) 上，PowerInfer 對比 llama.cpp 實現(xiàn)了 11 倍加速！
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內(nèi)容相關的任何行動之前，請務必進行充分的盡職調(diào)查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責任。
