新火種
2024-12-24 
耗時縮短十倍以上，大規模AI方法加速原子模擬進程，推動更泛用的策略發展
編輯丨&
擴展一直是提高機器學習各個領域的模型性能和泛化的關鍵因素。盡管在擴展其他類型的機器學習模型方面取得了成功，但對神經網絡原子間電位 （NNIP） 擴展的研究仍然有限。
該領域的主要范式是將許多物理域約束合并到模型中，例如旋轉等方差等對稱性約束。來自美國加州大學伯克利分校和勞倫斯伯克利國家實驗室 （Berkeley Lab） 的研究團隊認為，這些日益復雜的領域約束抑制了 NNIP 的擴展能力，從長遠來看，這種策略可能會導致模型性能停滯不前。
為了系統地研究 NNIP 擴展屬性和策略，團隊提出了一種全新的專為可擴展性而設計的 NNIP 架構：高效縮放注意力原子間勢 （EScAIP），意在通過注意力機制擴展模型有效提高模型表達能力。
該方法以「The Importance of Being Scalable: Improving the Speed and Accuracy of Neural Network Interatomic Potentials Across Chemical Domains」為題，于 2024 年 10 月 31 日發布于 Arxiv 預印平臺。
與現有的 NNIP 模型相比，EScAIP 因使用高度優化的注意力 GPU 內核實現，效率大幅提高，推理時間至少加快 10 倍，內存使用量減少 5 倍。
團隊強調，他們的方法應被視為一種哲學而非特定模型。它代表了開發通用 NNIP 的概念驗證，這些 NNIP 通過擴展實現更好的表達性，并通過增加計算資源和訓練數據繼續有效擴展。
關于神經網絡通用進化的思考
近年來，擴展模型大小、數據和計算的原理已成為提高機器學習 （ML） 性能和泛化的關鍵因素，涵蓋從自然語言處理 （NLP）到計算機視覺 （CV）。ML 中的擴展在很大程度上取決于是否能最好地利用 GPU 計算能力。這通常涉及如何有效地將模型大小增加到較大的參數量級，以及優化模型訓練和推理以實現最佳計算效率。
與這類發展并行的方向，涵蓋了原子模擬，解決藥物設計、催化、材料等方面的問題。其中，機器學習原子間勢，尤其是神經網絡原子間勢 （NNIP），作為密度泛函論等計算密集型量子力學計算的替代模型而廣受歡迎。
NNIP 旨在高效、準確地預測分子系統的能量和力，允許在難以用密度泛函理論直接模擬的系統上執行幾何弛豫或分子動力學等下游任務。
當前的 NNIP 主要基于圖神經網絡 （GNN）。該領域的許多有效模型越來越多地嘗試將受物理啟發的約束嵌入到模型中，這些約束包括將預定義的對稱性（例如旋轉等方差）合并到 NN 架構中，以及使用復雜的輸入特征集。
團隊認為，這些日益復雜的領域約束抑制了 ML 模型的擴展能力，并且可能會隨著時間的推移在模型性能方面趨于平穩。隨著模型規模的增加，可以假設施加這些約束會阻礙有效表示的學習，限制模型的泛化能力，并阻礙有效的優化。其中許多功能工程方法并未針對 GPU 上的高效并行化進行優化，進一步限制了它們的可擴展性和效率。
基于這些理解，他們開發了高效縮放注意力原子電位 （EScAIP）。該模型在各種化學應用中實現了最佳性能，包括在 Open Catalyst 2020、Open Catalyst 2022、SPICE 分子和材料項目 （MPTrj） 數據集上的最佳性能。
EScAIP 可以很好地與計算一起擴展，并且其設計方式將隨著 GPU 計算的不斷進步而進一步提高效率。
模型的種子與未來的枝芽
這些模型通常經過訓練，可以根據系統屬性（包括原子序數和位置）預測系統能量和每原子力。模型分為兩類：基于組表示節點特征的模型，以及基于笛卡爾坐標表示的節點特征的模型。
NNIP 領域也越來越關注使用量子力學模擬生成更大的數據集，并使用它來訓練模型。有一種趨勢是將物理啟發的約束納入 NNIP 模型架構，例如所有將對稱約束合并到模型中的組。然而，還有其他工作路線并沒有試圖直接在 NNIP 中構建對稱性，而是嘗試“近似”對稱性。
通過消融研究，該團隊系統地研究了縮放神經網絡原子間勢 （NNIP） 模型的策略。在確認了高階對稱性（旋轉階數
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
