研究人员开发了SF-NorMuon，这是一种新的无计划谱优化器，其性能可与传统的AdamW优化器相媲美或超越。这一进展解决了当前随时随地训练方法的一个关键限制，即无计划的方法通常表现不佳。SF-NorMuon能够在没有预定义时间范围的情况下，在任何时候实现高质量的训练检查点，使其成为开放式持续学习的更实用的工具。 AI
影响 通过允许在没有固定计划的情况下在任何阶段获得高质量的检查点，从而实现更灵活高效的神经网络训练。
排序理由 该集群包含一篇详细介绍神经网络训练新优化方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.23061v1 Announce Type: cross Abstract: Standard neural network training relies on learning-rate schedules tied to a fixed horizon, leading to strong path dependence and costly re-tuning as data availability changes. Schedule-Free (SF) methods address this by removing e…
Standard neural network training relies on learning-rate schedules tied to a fixed horizon, leading to strong path dependence and costly re-tuning as data availability changes. Schedule-Free (SF) methods address this by removing explicit schedules, yet SF-AdamW, the current state…