「Meta版ChatGPT」背后的技術：想讓基礎LLM更好地處理長上下文，只需持續預訓練
在處理長上下文方面，LLaMA 一直力有不足，而通過持續預訓練和其它一些方法改進，Meta 的這項研究成功讓 LLM 具備了有效理解上下文的能力。大型語言模型（LLM）所使用的數據量和計算量都是前所未見的，這也使其有望從根本上改變我們與數字世界的交互方式。隨著 LLM 被不斷快速部署到生產環境中并不
首頁 > 長上
長上
-
-
PyTorch官方認可！斯坦福博士新作：長上下文LLM推理速度提8倍
這兩天，FlashAttention團隊推出了新作：一種給Transformer架構大模型推理加速的新方法，最高可提速8倍。該方法尤其造福于長上下文LLM，在64k長度的CodeLlama-34B上通過了驗證。甚至得到了PyTorch官方認可：如果你之前有所關注，就會記得用FlashAttentio
-
全新近似注意力機制HyperAttention：對長上下文友好、LLM推理提速50%
本文介紹了一項近似注意力機制新研究，耶魯大學、谷歌研究院等機構提出了 HyperAttention，使 ChatGLM2 在 32k 上下文長度上的推理時間快了 50%。Transformer 已經成功應用于自然語言處理、計算機視覺和時間序列預測等領域的各種學習任務。
-
MiniMax震撼開源，突破傳統Transformer架構，4560億參數，支持400萬長上下文
「2025 年，我們可能會看到第一批 AI Agent 加入勞動力大軍，并對公司的生產力產生實質性的影響?！埂狾penAI CEO Sam Altman「2025 年，每個公司都將擁有 AI 軟件工程師 Agent，它們會編寫大量代碼?！?/p>
