研究人员推出了一种新颖的因果 Transformer 注意力算子 Continuum Attention (CA)，它用对连续内存曲线的积分取代了离散查找。该方法使用指数相关性密度从闭式指数矩产生归一化注意力。CA 在标准 Softmax 和 Focal 注意力上表现出优越的性能，显著降低了验证负对数似然，并显示出优于最强的 softmax 基线的优势。 AI
影响 引入了一种新的注意力机制，可以提高 Transformer 模型的效率和性能。
排序理由 该条目描述了一篇关于 Transformer 新颖注意力机制的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2610.20586v1 Announce Type: new Abstract: We introduce Continuum Attention (CA), a causal Transformer attention operator that replaces discrete key and value lookup with integration over a continuous, piecewise linear memory curve. Each query induces an exponential relevanc…
We introduce Continuum Attention (CA), a causal Transformer attention operator that replaces discrete key and value lookup with integration over a continuous, piecewise linear memory curve. Each query induces an exponential relevance density along the curve. Integrating the densi…