PulseAugur
中
实时 10:37:42
实体 Token-Aware Phase Attention

Token-Aware Phase Attention

PulseAugur coverage of Token-Aware Phase Attention — every cluster mentioning Token-Aware Phase Attention across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_245173 ·

    新的TAPA位置编码方法旨在改进长上下文语言模型

    研究人员推出了一种新颖的位置编码方法——Token-Aware Phase Attention (TAPA)，旨在克服Rotary Positional Embedding (RoPE)在长上下文语言模型中的局限性。TAPA将一个可学习的相位函数集成到注意力机制中，该论文声称该方法可以保持长距离的token交互，并允许外推到未见过的长度。据报道，与基于RoPE的方法相比，新方法在长上下文场景下实现了更低的困惑度和更好的检索性能，并有可…