MoSAR 引入自适应注意力几何结构，用于长上下文语言模型

研究人员提出了 MoSAR（语义注意力机制混合体），一种解决长上下文语言模型中注意力机制二次复杂度问题的新方法。MoSAR 将注意力近似视为一个几何问题，学习查询-键交互的自适应、数据驱动的几何结构，而不是依赖预定义的稀疏模式。该方法利用输入条件路由器来选择短、中、全局注意力机制的混合体，创建一个连续的、依赖距离的注意力场。实验表明，MoSAR 在长度外推方面，即使在长度外推的情况下，也能实现与密集 RoPE 和 ALiBi 相比具有竞争力或更优的困惑度，同时保持语言建模质量。 AI

影响 这项研究通过优化注意力机制，有望带来更高效、更强大的长上下文语言模型。

排序理由 该集群包含一篇研究论文，详细介绍了语言模型中注意力机制的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• Alibi
• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• Michele Paolicelli
• Mixture of Semantic Attention Regimes
• MoSAR
• Rope
• ScienceCast

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →