研究人员开发了 Muon-C,一种用于卷积核的新型优化器,它改进了现有的 Adam 和 unfolded Muon 等方法。通过将核动量表示为逐频率的通道传输矩阵,并独立极化这些块,Muon-C 确保更新保留在原始有限核支持内。这种新颖的几何结构带来了卓越的性能,在 CIFAR-10 流匹配上以更少的 FLOPs 实现了 9.87 FID,优于其前代产品,并在相同的调优预算下实现了 3.42 FID。 AI
影响 引入了一种更有效的卷积神经网络优化方法,可能导致图像相关任务中更快的训练和更好的性能。
排序理由 这是一篇详细介绍机器学习模型新优化技术的 ist 论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →