PulseAugur
中
实时 09:26:53
实体 Nadaraya-Watson estimation

Nadaraya-Watson estimation

PulseAugur coverage of Nadaraya-Watson estimation — every cluster mentioning Nadaraya-Watson estimation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_41744 ·

    新理论将多头注意力机制视为集成回归

    研究人员开发了一种统计理论，将多头注意力（MHA）视为一系列Nadaraya-Watson核回归估计器的集成。该框架揭示了MHA中的方差减少与不同注意力头输出的去相关性密切相关，而不仅仅是头的数量。他们引入了头多样性指数（HDI）来衡量这种去相关性，并推导出了最优的头维度分配策略，提出了一个新的架构扩展定律，其中最优的每个头维度随训练集大小呈对数增长。