开源大模型演进：注意力机制、多模态和效率提升

近几个月来，开源大模型领域发生了重大变化，滑动窗口注意力机制已成为主流，支持更大的上下文窗口。QK-Norm 也因其作为训练稳定器的作用而受到关注，其根源可追溯至 Gemini 3 的架构。Kimi k2.5 中早期出现的多模态预训练，已被证明有利于推理，而 Z.ai 的 GLM-5，尽管经过修改，但性能可与顶级闭源模型相媲美。Step 3.5 Flash 在推理速度和多令牌预测方面表现突出，尽管基准测试性能并不总是与用户偏好一致。 AI

影响 滑动窗口注意力和 QK-Norm 等新的架构创新正在赋能更高效、更强大的开源大模型，可能降低先进人工智能开发的门槛。

排序理由 文章讨论了开源大模型架构和训练技术的进步，包括新的注意力机制和预训练策略，而不是来自前沿模型的特定模型发布 [lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

• DeepSeek-V2
• Gemini 3
• GLM-5
• GPT-5.2
• Grouped-Query Attention
• Kimi k2.5
• MiniMax M2.5
• Opus 4.5
• QK-Norm
• Sliding Window Attention
• Step 3.5 Flash
• Z.ai

• 模型发布
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →