PulseAugur
中
实时 20:24:29
实体 Query-derived Erase Direction

Query-derived Erase Direction

PulseAugur coverage of Query-derived Erase Direction — every cluster mentioning Query-derived Erase Direction across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_202816 ·

    新的QED方法增强了线性注意力模型的长程记忆能力

    一篇新的研究论文介绍了一种名为查询派生擦除方向（QED）的方法，用于提高线性注意力模型的长程记忆能力。QED增加了一个源自查询的第二个擦除方向，该方向与键正交，有助于抵消旧的状态内容。这种方法旨在解决干扰问题，这些问题会降低线性注意力模型中的检索性能，尤其是在长上下文长度下。该论文提出QED可以显著提高可用上下文长度和检索准确性。