一篇新的研究论文探讨了机器学习中优化器的几何特性，提出在हरूको维多类别分类任务中，行归一化可以优于 Adam 和 Muon。研究表明，与 Adam 的逐坐标几何和 Muon 的谱几何相比，行归一化的逐类欧几里得几何能更好地保持决策边界方向，从而避免失真。这一优势在包括各向同性高斯云数据和幂律谱在内的各种数据模型下得到了证明，并且通过合成和语言模型实验支持了这些发现。 AI
影响 提出了一种新的优化技术，可能带来更准确、更高效的机器学习模型。
排序理由 一篇发表在 arXiv 上的研究论文，详细介绍了一种新颖的优化器方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
