实体
Gaussian Mixture Attention
Gaussian Mixture Attention
PulseAugur coverage of Gaussian Mixture Attention — every cluster mentioning Gaussian Mixture Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
高斯混合注意力增强LLM的长期上下文理解能力
研究人员开发了一种名为高斯混合注意力（GMA）的新方法，以增强大型语言模型的长期上下文理解能力。该方法利用概率注意力机制，摒弃了传统的Transformer架构，以改进模型处理扩展信息序列的方式。
-
高斯混合注意力提供线性时间序列混合
研究人员引入了高斯混合注意力（GMA），这是一种新颖的序列混合技术，旨在克服标准Transformer注意力的二次扩展瓶颈。GMA用通过学习到的高斯混合分量的概率路由机制取代了显式的token到token比较，将内存复杂度从O(N^2)降低到O(NK)，其中K是固定的。虽然GMA在长上下文分类任务上表现出竞争力，并在因果设置中显示出潜力，但它在特定基准测试中目前落后于优化的softmax注意力和Mamba等状态空间模型。