PulseAugur
中
实时 11:09:40
实体 Data-Adaptive Mahalanobis Cross-Head Attention

Data-Adaptive Mahalanobis Cross-Head Attention

PulseAugur coverage of Data-Adaptive Mahalanobis Cross-Head Attention — every cluster mentioning Data-Adaptive Mahalanobis Cross-Head Attention across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_294577 ·

    新的注意力机制DAMCHA增强了Transformer的性能

    研究人员推出了一种新颖的注意力机制——面向数据的马氏距离跨头注意力（DAMCHA），旨在增强Transformer架构。DAMCHA通过学习一个完整的跨头度量矩阵来泛化标准的Multi-Head Attention，该矩阵比MHA的块对角结构更能有效地捕捉头之间的交互。此外，它使注意力几何形状与数据相关，从而能够动态适应数据的流形结构。所提出的方法包括用于效率和稳定性的正则化策略，实验表明它在各种基准任务上优于现有基线。