新火種
2024-11-21 
阿里云百煉上線百萬長文本模型Qwen2.5-Turbo，百萬tokens僅需0.3元
11月20日消息，最新的Qwen2.5-Turbo已在阿里云百煉上線，該模型支持100萬超長上下文，相當于100萬個英文單詞或150萬個漢字，在多個長文本評測集上的性能表現超越GPT-4。即日起，所有用戶可在阿里云百煉調用Qwen2.5-Turbo API，百萬tokens僅需0.3元。
全新的Qwen2.5-Turbo在1M長度的超長文本檢索（Passkey Retrieval）任務中的準確率可達到100%，在長文本評測集RULER上獲得93.1分，超越GPT-4；在LV-Eval、LongBench-Chat等更加接近真實場景的長文本任務中，Qwen2.5-Turbo在多數維度超越了GPT-4o-mini；此外，在MMU、LiveBench等短文本基準上Qwen2.5-Turbo的表現也非常優秀，在大部分任務上的表現顯著超越之前上下文長度為1M tokens的開源模型。
Qwen2.5-Turbo在長文本、短文本任務評測集上均表現優秀
在推理速度方面，通義千問團隊利用稀疏注意力機制將注意力部分的計算量壓縮了約12.5倍，將處理1M tokens上下文時的首字返回時間從4.9分鐘降低到68秒，實現了4.3倍的速度提升。
Qwen2.5-Turbo推理速度可提升4.3倍
Qwen2.5-Turbo可應用于長篇小說深入理解、倉庫級別代碼助手、多篇論文閱讀等場景，可一次性處理10本長篇小說，150小時的演講稿，3萬行代碼。針對該模型，阿里云百煉免費為用戶贈送1000萬tokens額度。
該團隊表示，長文本任務處理依然存在諸多挑戰，未來將進一步探索長序列人類偏好對齊，優化推理效率以減少運算時間，并繼續研發更大、更強的長文本模型。
據介紹，阿里云百煉已上線Qwen、Llama、Flux等超200款國內外主流開源和閉源大模型，用戶可選擇直接調用、訓練微調或打造RAG應用。目前，一汽、金山、哈啰集團、國家天文臺等超30萬企業和機構在使用阿里云百煉。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
