实体
Length generalization
Length generalization
PulseAugur coverage of Length generalization — every cluster mentioning Length generalization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新理论解释位置编码对AI模型长度泛化的影响
研究人员开发了一个理论框架，以解释为什么位置编码会显著影响单头注意力机制中的长度泛化。他们的工作引入了一个位置可实现性理论，该理论使用标量 $\alpha_L$ 在扩展网格上评估位置核。该算子源于位置核和任务特性，在受控的单头注意力实验中精确区分了泛化和非泛化场景。研究结果提供了一个位置核迁移定理，确定了影响泛化超越 token 内容的机制。
-
新研究将RoPE频率使用与训练数据结构和长度泛化联系起来
一篇新研究论文探讨了Transformer中的旋转位置嵌入（RoPE）如何非均匀地使用频率，并提出了一个以数据为中心的解释。研究表明，RoPE频率的选择是为了与训练数据的相对距离结构对齐，最优频率与数据诱导的依赖性剖面的宽度成反比。这一原理有助于解释语言模型中涌现的频率使用，并与长度泛化相关联，在长度泛化中，降低频率可以提高性能，当依赖性近似于训练时结构的扩张时。
-
Apple 研究人员为扩散模型泛化识别局部分数
Apple 的研究论文探讨了条件扩散模型中组合泛化机制，特别关注这些模型如何处理生成比训练时更多的对象的图像。研究确定“局部条件分数”是实现此能力的关键因素，表明成功进行长度泛化的模型表现出这些分数，而失败的模型则没有。研究还提出了一种强制执行这些局部分数的方法，该方法成功地使先前表现不佳的模型实现了长度泛化。