PulseAugur
中
实时 11:05:17
实体 First Passage Attention

First Passage Attention

PulseAugur coverage of First Passage Attention — every cluster mentioning First Passage Attention across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_307893 ·

    首段注意力改进长上下文语言模型

    研究人员推出了一种新颖的机制——首段注意力（First Passage Attention, FPA），旨在改进语言模型处理文本中长距离依赖关系的方式。与对路径上的贡献进行求和的传统方法不同，FPA使用路径极值选择性地擦除中间上下文，同时保留重要的早期标记。这种方法是对遗忘Transformer（Forgetting Transformer, FoX）的泛化，能够实现更高效的内存管理，并在扩展序列中更好地检索特定信息。实验表明，FPA…