新的 GO-MUON 方法改进了谱几何以进行优化

研究人员推出了一种新颖的优化方法 GO-MUON，该方法通过采用匹配的数据依赖几何来提高 μ 子极更新的准确性。该方法可以精确地求解加权谱预言器，而与几何映射的估计或刷新方式无关。该研究还分析了反向因子对 softmax 交叉熵的 Fisher 和广义 Gauss-Newton 因子的近似，并探讨了四步刷新过程的权衡。 AI

影响 引入了一种新颖的优化技术，可以提高机器学习模型训练的效率和准确性。

排序理由 该条目是一篇详细介绍新优化方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• Connected Papers
• CORE Recommender
• DagsHub
• GO-MUON
• Gotit.pub
• Hugging Face
• Litmaps
• muon
• ScienceCast
• scite Smart Citations

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →