Lévy Attention 引入单通道预测不确定性用于连续时间注意力

研究人员推出 Lévy Attention，这是一种专为不规则采样时间序列数据设计的新型注意力机制。这种新方法将预测不确定性直接集成到注意力层中，使模型能够量化其预测的可靠性，而无需额外的计算成本。Lévy Attention 通过将注意力输出表述为针对泊松随机测度的随机积分来实现这一点，该测度固有地捕获证据和分歧指标。经验上，与密集数据上的标准注意力机制相比，该方法在稀疏数据集上的准确性损失很小，并且性能显著优于 MC Dropout 等传统方法。 AI

影响 这种新颖的注意力机制可以提高处理时间序列数据的 AI 模型的可靠性，尤其是在稀疏或不规则采样的情况下。

排序理由 该条目描述了在学术论文中提出的一种新的注意力机制。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• cosine-kernel attention
• Gaussian function
• Hugging Face
• Lévy Attention
• MC Dropout
• Poisson process
• Softmax
• t-PatchGNN

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →