PulseAugur
中
实时 13:12:00
实体 Gated Adaptive Positional Encoding

Gated Adaptive Positional Encoding

PulseAugur coverage of Gated Adaptive Positional Encoding — every cluster mentioning Gated Adaptive Positional Encoding across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
时间线
  1. 2026-05-11 research_milestone A new paper introduces Gated Adaptive Positional Encoding (GAPE) to improve LLM performance with long contexts. 来源
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_28252 ·

    新的GAPE方法增强了LLM的长上下文性能

    研究人员开发了门控自适应位置编码（GAPE），这是一种提高大型语言模型（LLM）在扩展上下文长度下性能的新方法。GAPE解决了当序列超出训练限制时出现的问题，这些问题会导致RoPE等位置编码降低模型性能。通过向注意力对数引入内容感知偏差，GAPE选择性地收缩不相关上下文，同时保留重要的远距离标记，从而实现更清晰的注意力和更好的长上下文鲁棒性。