Google 的新款 Gemma 2 模型，特别是 27B 参数版本，正通过架构创新而非仅仅增加模型大小来展示显著的性能提升。这些模型采用了混合注意力机制，结合了局部滑动窗口注意力和全局注意力，以提高效率和上下文感知能力。此外，分组查询注意力 (GQA) 和小型模型中的知识蒸馏等技术也为其增强的性能和开发者可访问性做出了贡献。 AI
影响 为高效的开源模型树立了新标杆，降低了部署成本，并支持了设备端应用。
排序理由 来自前沿实验室 (Google) 的新模型发布。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
