新火種
2025-03-14 
清華團隊開源大模型推理引擎“赤兔Chitu”：硬件成本削減50%
3月14日消息，據報道，清華大學高性能計算研究所翟季冬教授團隊與清華系科創(chuàng)企業(yè)清程極智聯合宣布，開源大模型推理引擎“赤兔Chitu”。這一突破性技術為國產AI芯片的廣泛應用和生態(tài)建設帶來了新的機遇。
“赤兔Chitu”首次實現在非英偉達Hopper架構GPU及各類國產芯片上原生運行FP8精度模型，解決了FP8精度模型對英偉達Hopper架構（如H100/H200）的硬件依賴。
在A800集群的測試中，赤兔引擎在GPU使用量減少50%的情況下，推理速度提升了3.15倍，顯著降低了企業(yè)的硬件成本，同時提高了性能輸出。
赤兔引擎的智能優(yōu)化技術能夠快速適配不同芯片架構，使國產廠商無需重復開發(fā)軟件，專注于硬件升級。目前，清程極智已與沐曦、燧原等廠商合作，推出“開箱即用”的推理一體機，廣泛應用于金融、醫(yī)療等行業(yè)。
清程極智CEO湯雄超表示，當前國內在推理引擎這一核心環(huán)節(jié)仍缺乏生產級開源產品。開源“赤兔”引擎是推動國內AI生態(tài)建設的重要一步，將為行業(yè)提供更高效、更靈活的技術支持。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
