阿里巴巴 Qwen3.8-27B 采用混合注意力技术，实现高效长上下文处理

阿里巴巴通义实验室发布了 Qwen3.8-27B，这是一款拥有 277.8 亿参数的多模态模型，采用了新颖的混合注意力架构。该设计通过一种名为 Gated DeltaNet 的线性注意力机制，策略性地将每四层注意力中的三层替换掉，仅保留关键层使用全注意力。这种方法显著降低了内存压力和计算成本，使模型能够处理 262,144 个 token 的原生上下文窗口，并通过 YaRN 缩放可扩展至约一百万个 token，同时还能容纳在一块高端消费级 GPU 上。此外，Qwen3.8-27B 还集成了多 Token 预测以提高推理吞吐量，并在智能体编码基准测试中表现出色，据报道在多项评估中超越了 Meta 的 Muse Glimmer-30B 和 Claude Opus 4.6 等模型。 AI

影响 高效的长上下文处理和改进的推理吞吐量有望加速大型多模态模型在资源受限环境中的应用。

排序理由 前沿实验室模型发布，具有新颖架构和基准测试声明。[lever_c_demoted from frontier_release: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

• Alibaba Group
• Claude Opus 4.6
• Gated DeltaNet
• Meta
• Multi Token Prediction
• Qwen3.8-27B
• Tongyi Lab
• Yarn

• 模型发布
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →