PulseAugur
中
实时 08:06:15
实体 Dynamical Kernel Attention

Dynamical Kernel Attention

PulseAugur coverage of Dynamical Kernel Attention — every cluster mentioning Dynamical Kernel Attention across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_364305 ·

    Dynamical Kernel Attention 为大型语言模型提供有界内存

    研究人员推出了一种新颖的注意力机制 Dynamical Kernel Attention (DKA),旨在改进模型处理长序列数据的方式。与传统的自注意力不同,DKA 从随机微分方程中推导出注意力,允许每个注意力头提取有界证据并在证据不足时弃权。这种方法提供了可证明的有界记忆窗口,能够更有效地丢弃 token,并在语言建模任务上优于 RoPE 和 ALiBi 等现有方法,同时以更小的内存占用匹配滑动窗口注意力。