新火種
2023-12-06 
Meta提出全新注意力機制S2A大模型準確率提升至80.3%
要點:
1. Meta提出的注意力機制S2A能有效提升LLM回答問題的事實性和客觀性，降低模型對無關信息的敏感度，使其更準確。
2. S2A通過深思熟慮的注意力機制（System2Attention）解決了LLM在回答問題時容易受上下文中虛假相關性影響的問題，提高了模型的推理能力。
3. S2A的實現方式利用LLM本身構建，通過指令調整的LLM刪除不相關文本，重寫上下文，以更好地控制注意力焦點，進而提升回答的準確性。
站長之家11月28日 消息:在2023科技領域，大語言模型（LLM）的應用日益廣泛，但其在回答問題時存在的問題引起了關注。Meta團隊提出的新注意力機制S2A通過解決LLM容易受到上下文虛假相關性的問題，顯著提升了模型的準確性和客觀性。這一機制的提出得到了深度學習領域的重要人物LeCun的認可，他表示這將有助于使LLM更具推理能力。
傳統LLM存在的問題包括對無關信息的過度敏感和容易受到用戶觀點的影響。S2A通過更深思熟慮的注意力機制，即System2Attention，有效解決了這些問題。以一個數學計算的例子為證，S2A可以過濾掉無關信息，使模型更關注問題的實質，從而提高答案的準確性。
S2A的實現方式是利用LLM本身構建，通過指令調整的LLM來刪除不相關的文本，重新生成上下文。這不僅使模型能夠在輸出響應之前深思熟慮地推理，還能夠控制注意力焦點，類似于人類的方式。實驗證明，S2A顯著提高了模型的性能，使其更適應復雜的推理任務。
隨著理解的加深，添加的文本是無關緊要的，應該被忽略。通過引入更深思熟慮的注意力機制，S2A為解決LLM的問題提供了一種可行的方法，為大型語言模型的進一步發展鋪平了道路。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
