PulseAugur
实时 09:57:52
实体 Fisher's identity

Fisher's identity

PulseAugur coverage of Fisher's identity — every cluster mentioning Fisher's identity across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_129301 ·

    新论文将梯度下降与神经网络中的隐式EM联系起来

    一篇新论文提出,在某些神经网络目标函数中,梯度下降表现为一种隐式的期望最大化(EM)算法。研究表明,对于涉及距离或能量的log-sum-exp结构的优化目标,相对于每个距离的梯度恰好是相应分量的负后验责任。这个代数恒等式是Fisher恒等式的一个特例,意味着标准的神经网络训练在没有显式辅助变量的情况下,隐式地执行了广义EM。这些发现统一了无监督混合模型、注意力机制和交叉熵分类,解释了Transformer等模型中观察到的软聚类和贝叶斯…