实体
Mo Zhou
Mo Zhou
PulseAugur coverage of Mo Zhou — every cluster mentioning Mo Zhou across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Memorizing long-tail data improves AI generalization, study finds
一篇新论文探讨了深度学习中记忆与泛化之间的关系,提出记忆长尾数据可以增强模型的泛化能力。该研究在理论上证明,在线性环境中,记忆与组合相结合可以使模型预测那些需要长尾特征组合的罕见测试示例,即使这些组合在训练数据中不存在。在神经网络上的实验结果表明,这一原理不仅限于线性模型,模型架构也会影响组合能力。
-
梯度EM算法在过参数化高斯混合模型上实现了全局收敛
研究人员为梯度期望最大化(EM)算法应用于过参数化高斯混合模型(GMMs)时建立了全局收敛保证。这是EM或其梯度变体在超出两分量特定情况之外的首个此类结果。研究表明,在轻微过参数化的情况下,即学习模型使用 $n = \Omega(m\log m)$ 个分量来拟合一个 $m$ 分量真实GMM时,随机初始化的梯度EM可以在多项式时间和样本复杂度内收敛到正确解。该分析引入了用于GMM分析的新颖工具,以表征算法动力学和似然损失景观。