華為人工智能模型量化相關專利公布可減少AI內存占用
【CNMO科技消息】天眼查App顯示,近日,華為技術有限公司申請的“人工智能模型的量化方法、處理系統和量化單元”專利公布。
摘要顯示,量化單元可以基于運行AI模型的計算設備的各個計算單元的處理粒度,將量化矩陣分割成多個適用于各個計算單元的處理粒度的分塊量化矩陣。量化單元可以對分塊量化矩陣進行量化處理,以得到量化后的分塊量化矩陣,并存儲在存儲器中,可以減少AI模型占用的內存。量化矩陣可以是權重矩陣,也可以是激活矩陣。量化單元量化過程中,是基于運行AI模型的計算設備的各個計算單元的處理粒度進行量化,并不需要基于張量級別進行離群值的統計,實現AI模型對權重矩陣和激活矩陣都可以進行實時量化。
天眼查信息
而在今年1月底,國家知識產權局信息顯示,華為技術有限公司還申請一項名為“一種數據處理方法及相關設備”的專利,申請日期為2024年9月。
根據介紹,該專利申請提供了一種數據處理方法及相關設備,涉及人工智能領域,能夠降低模型訓練過程的存儲空間的開銷,提高模型訓練的性能。在該方法中,第一裝置通過第一模型對第一數據進行前向計算,得到第二數據,該第一模型為神經網絡模型,該第一數據的位數和該第二數據的位數為第一值;第一裝置對該第二數據進行量化,得到第三數據,該第三數據的位數為第二值,該第二值小于該第一值;第一裝置保存該第三數據,保存的該第三數據用于該第一模型的反向計算。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。