Amuse

新的优化器 AMUSE、MiMuon 和 Pion 增强深度学习训练

研究人员开发了几种新的优化技术来改进深度学习模型的训练。AMUSE 将 Muon 的快速适应性与无计划平均的稳定性相结合，无需学习率计划即可提高视觉和语言任务的性能。另一种方法 MiMuon 通过将其与 SGD 融合来增强 Muon 的泛化能力，提供更低的泛化误差。此外，一种名为 Pion 的新优化器通过采用频谱高通滤波机制，解决了 Muon 在视觉-语言-动作和强化学习中的局限性。