IT之家 11 月 19 日消息，阿里通义千问昨日（11 月 18 日）发布博文，宣布在经过数月的优化和打磨后，针对社区中对更长上下文长度（Context Length）的要求，推出了 Qwen2.5-Turbo 开源 AI 模型。
Qwen2.5-Turbo 将上下文长度从 12.8 万个扩展至 100 万个 tokens，这一改进相当于约 100 万英语单词或 150 万汉字，可以容纳 10 部完整小说、150 小时的演讲稿或 30000 行代码。
上下文长度（Context Length）是指在自然语言处理（NLP）中的大型语言模型（LLM）在一次处理过程中能够考虑和生成的文本的最大长度。
该模型在 1M-token 的 Passkey 检索任务中实现了 100% 准确率，RULER 长文本评估得分为 93.1，超越了 GPT-4 和 GLM4-9B-1M。
团队通过整合稀疏注意力机制（sparse attention mechanisms），将处理 100 万 tokens 到输出第一个 tokens 的时间，从 4.9 分钟缩短至 68 秒，速度提升达 4.3 倍，这一进步显著提高了模型的响应效率，使其在处理长文本时更加迅速。
#积云教育
Qwen2.5-Turbo 将上下文长度从 12.8 万个扩展至 100 万个 tokens，这一改进相当于约 100 万英语单词或 150 万汉字，可以容纳 10 部完整小说、150 小时的演讲稿或 30000 行代码。
上下文长度（Context Length）是指在自然语言处理（NLP）中的大型语言模型（LLM）在一次处理过程中能够考虑和生成的文本的最大长度。
该模型在 1M-token 的 Passkey 检索任务中实现了 100% 准确率，RULER 长文本评估得分为 93.1，超越了 GPT-4 和 GLM4-9B-1M。
团队通过整合稀疏注意力机制（sparse attention mechanisms），将处理 100 万 tokens 到输出第一个 tokens 的时间，从 4.9 分钟缩短至 68 秒，速度提升达 4.3 倍，这一进步显著提高了模型的响应效率，使其在处理长文本时更加迅速。
#积云教育
