实体
Gated Adaptive Positional Encoding
Gated Adaptive Positional Encoding
PulseAugur coverage of Gated Adaptive Positional Encoding — every cluster mentioning Gated Adaptive Positional Encoding across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
时间线
- 2026-05-11 research_milestone A new paper introduces Gated Adaptive Positional Encoding (GAPE) to improve LLM performance with long contexts. 来源
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的GAPE方法增强了LLM的长上下文泛化能力
研究人员开发了一种新颖的方法，称为门控自适应位置编码（GAPE），以提高大型语言模型（LLM）的长上下文处理能力。GAPE解决了当序列超出训练长度时旋转位置编码（RoPE）存在的问题，该问题可能导致性能下降。通过向注意力对数引入感知内容的偏差，GAPE选择性地抑制不相关上下文，同时保留重要标记，使模型能够泛化到比其训练数据长八倍的上下文长度。
-
新的GAPE方法增强了LLM的长上下文性能
研究人员开发了门控自适应位置编码（GAPE），这是一种提高大型语言模型（LLM）在扩展上下文长度下性能的新方法。GAPE解决了当序列超出训练限制时出现的问题，这些问题会导致RoPE等位置编码降低模型性能。通过向注意力对数引入内容感知偏差，GAPE选择性地收缩不相关上下文，同时保留重要的远距离标记，从而实现更清晰的注意力和更好的长上下文鲁棒性。