首頁 > 刊物

刊物

  • 港大北航等1bit大模型引熱議，IEEE刊物評“解決AI能源需求”！作者親自解讀在此

    極限量化，把每個參數占用空間壓縮到1.1bit！IEEE Spectrum專欄，一種名為BiLLM的訓練后量化（PTQ）方法火了。通俗來講，隨著LLM參數規模越來越大，模型計算的內存和資源也面臨著更大的挑戰。如何把模型變得小巧經濟實惠，能塞進手機等設備中？BiLLM解決的正是這樣的一個問題。它使用1bit來近似網絡中的大多數參數，使用2bit來表示一些對性能最有影響權重