Continuum Attention

Continuum Attention 提出新颖的 Transformer 替代方案

研究人员推出了一种新颖的因果 Transformer 注意力算子 Continuum Attention (CA)，它用对连续内存曲线的积分取代了离散查找。该方法使用指数相关性密度从闭式指数矩产生归一化注意力。CA 在标准 Softmax 和 Focal 注意力上表现出优越的性能，显著降低了验证负对数似然，并显示出优于最强的 softmax 基线的优势。