PulseAugur
中
实时 14:28:28
实体 Single-head attention

Single-head attention

PulseAugur coverage of Single-head attention — every cluster mentioning Single-head attention across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_336301 ·

    新理论解释位置编码对AI模型长度泛化的影响

    研究人员开发了一个理论框架，以解释为什么位置编码会显著影响单头注意力机制中的长度泛化。他们的工作引入了一个位置可实现性理论，该理论使用标量 $\alpha_L$ 在扩展网格上评估位置核。该算子源于位置核和任务特性，在受控的单头注意力实验中精确区分了泛化和非泛化场景。研究结果提供了一个位置核迁移定理，确定了影响泛化超越 token 内容的机制。