实体
Local Attention
Local Attention
PulseAugur coverage of Local Attention — every cluster mentioning Local Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新研究表明局部注意力是视觉模型泛化的关键
一篇新的研究论文探讨了人类视觉处理与当前计算机视觉模型之间的差异，特别是在局部性和长度泛化方面。研究发现，人类视觉使用局部观察，而许多计算机视觉模型则全局处理图像。研究表明，视觉模型可以学会利用全局捷径，导致在泛化到长度或复杂度增加的任务时出现失败。然而，依赖严格局部感知的循环视觉策略有助于缓解这些泛化失败，表明局部注意力可能对视觉模型中稳健的组合泛化至关重要。
-
研究人员通过注意力控制和算法捕获探索高效 Transformer
研究人员正在探索提高 Transformer 效率和理解力的方法。一篇论文引入了预算注意力分配（Budgeted Attention Allocation），这是一种允许成本-质量权衡的头门控机制。另一项研究定义了 Transformer 中的算法捕获（algorithmic capture），并分析了它们的计算复杂性，表明存在一种归纳偏见，反对更高复杂度的过程。此外，关于 Transformer 中局部注意力的工作证明了其表达能力以…