Mosar

MoSAR 引入自适应注意力几何结构，用于长上下文语言模型

研究人员提出了 MoSAR（语义注意力机制混合体），一种解决长上下文语言模型中注意力机制二次复杂度问题的新方法。MoSAR 将注意力近似视为一个几何问题，学习查询-键交互的自适应、数据驱动的几何结构，而不是依赖预定义的稀疏模式。该方法利用输入条件路由器来选择短、中、全局注意力机制的混合体，创建一个连续的、依赖距离的注意力场。实验表明，MoSAR 在长度外推方面，即使在长度外推的情况下，也能实现与密集 RoPE 和 ALiBi 相比具有…