实体
Maria Matveevna Platova
Maria Matveevna Platova
PulseAugur coverage of Maria Matveevna Platova — every cluster mentioning Maria Matveevna Platova across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新研究详细介绍了大型语言模型如何分两个阶段发展跨语言能力
研究人员调查了大型语言模型在多语言预训练过程中跨语言泛化能力的出现。通过分析一个在九种语言上进行训练的17亿参数模型及其细粒度检查点，他们观察到语言能力和令牌级复制是同时发展的。翻译技能的出现分为两个阶段：初始阶段依赖于复制和表面相似性，随后进入第二阶段，在此阶段形成更通用的翻译机制，同时复制得到改进。这项研究为多语言模型中跨语言能力的发展提供了详细的视角。
-
新研究探讨神经网络泛化中的隐式偏差
研究人员已经证明，理解梯度下降的泛化性能需要分析各种隐式正则化形式的相互作用。他们的工作表明，学习率会影响参数范数和模型尖锐度之间的权衡。对于对角线线性网络，单独的范数最小化或尖锐度最小化都不足以解释良好的泛化，这表明需要对隐式正则化进行更广泛的视图。