PulseAugur
实时 04:34:24
实体 position-dependent attention

position-dependent attention

PulseAugur coverage of position-dependent attention — every cluster mentioning position-dependent attention across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_40775 ·

    新理论使用最优输运分析LLM推理极限

    研究人员开发了一个理论框架,使用最优输运来分析大型语言模型(LLM)的推理和分布外泛化能力。他们的方法用Wasserstein-1距离量化域偏移,并确定了两个关键限制:依赖位置的注意力机制阻碍了移位不变性,而Transformer中的顺序回溯对电路深度施加了下限。在组合搜索任务上的评估证实,泛化风险随域偏移的增加而增加,凸显了物理层深度缩放的必要性。