PulseAugur
中
实时 20:32:46
实体 Kernelized Linear Attention

Kernelized Linear Attention

PulseAugur coverage of Kernelized Linear Attention — every cluster mentioning Kernelized Linear Attention across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_154023 ·

    Kernelized Linear Attention Boosts Model Capacity and Throughput

    研究人员开发了 Kernelized Linear Attention Activations (KATA)，一个旨在克服线性注意力模型容量限制的新框架。KATA 利用对称锥和秩一正半定特征来提高联想回忆和状态容量，而无需增加参数。通过融合的 Triton 内核实现，KATA 在处理长序列时，展示出比 FlashAttention-2 高得多的吞吐量，并在需要长距离依赖和精确回忆的任务上，表现出与 Gated DeltaNet 等模型…