新火種
2024-01-05 
谷歌推出TpuGraphs訓練數據集，可強化AI模型深度學習能力
12 月 21 日消息，谷歌日前推出一款名為 TpuGraphs 的模型訓練數據集，主要用于“優化編譯器”、“提升 AI 深度學習能力”。
▲ 圖源 谷歌博客（下同）
谷歌指出，當下 AI 深度學習系統通常使用 TensorFlow、JAX、PyTorch 等框架訓練而成，這些框架主要通過底層編譯器的啟發式算法（Heuristic Algorithm）優化模型，而在相關編譯器中運用“學習成本模型”，即可改善編譯器的性能，并提升最終輸出模型的深度學習能力。
獲悉，谷歌推出的 TpuGraphs 數據集正是一款“學習成本模型”，這款數據集的內容主要來自各種開源深度學習程序，涵蓋多種熱門模型架構，例如 ResNet、EfficientNet、Mask R-CNN 和 Transformer 等。
與業界競品相比，谷歌 TpuGraphs 數據集“平均圖大小”相比業界訓練集大了 770 倍、“圖數量”則是對了 25 倍。谷歌聲稱，為編譯器應用 TpuGraphs 數據集可有效解決最終輸出的模型“可擴展性”、“效率”和“質量”等問題。
此外，谷歌還介紹了一種名為 GST（Graph Segment Training）的模型訓練方法，允許在 RAM 有限的設備中訓練大型圖神經網絡。該方法號稱能夠令模型“端到端訓練時間”加速 3 倍，有效提高模型訓練效率。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
