阿里通義千問昨日（11 月 18 日）發(fā)布博文，宣布在經(jīng)過數(shù)月的優(yōu)化和打磨后，針對社區(qū)中對更長上下文長度（Context Length）的要求，推出了 Qwen2.5-Turbo 開源 AI 模型。
Qwen2.5-Turbo 將上下文長度從 12.8 萬個擴展至 100 萬個 tokens，這一改進相當于約 100 萬英語單詞或 150 萬漢字，可以容納 10 部完整小說、150 小時的演講稿或 30000 行代碼。
注：上下文長度（Context Length）是指在自然語言處理（NLP）中的大型語言模型（LLM）在一次處理過程中能夠考慮和生成的文本的最大長度。
該模型在 1M-token 的 Passkey 檢索任務中實現(xiàn)了 100% 準確率，RULER 長文本評估得分為 93.1，超越了 GPT-4 和 GLM4-9B-1M。
團隊通過整合稀疏注意力機制（sparse attention mechanisms），將處理 100 萬 tokens 到輸出第一個 tokens 的時間，從 4.9 分鐘縮短至 68 秒，速度提升達 4.3 倍，這一進步顯著提高了模型的響應效率，使其在處理長文本時更加迅速。
Qwen2.5-Turbo 的處理成本保持在每百萬個 tokens 0.3 元，能夠處理 3.6 倍于 GPT-4o-mini 的 token 數(shù)量。這讓 Qwen2.5-Turbo 在經(jīng)濟性上具備了更強的競爭力，成為高效、經(jīng)濟的長上下文處理解決方案。
盡管 Qwen2.5-Turbo 在多個基準測試中表現(xiàn)優(yōu)異，團隊仍然意識到在真實場景中的長序列任務表現(xiàn)可能不夠穩(wěn)定，且大型模型的推理成本需要進一步優(yōu)化。
團隊承諾將繼續(xù)優(yōu)化人類偏好、提高推理效率，并探索更強大的長上下文模型。 
