一款名为 Rose 的新 PyTorch 优化器已根据 Apache 2.0 许可发布。Rose 由 Matthew K. 开发，设计为无状态，与 AdamW 等优化器相比，显存占用显著降低，内存开销与普通 SGD 相当。早期基准测试表明，它能实现快速收敛和出色的泛化能力，在某些任务上甚至优于 AdamW，并在 OpenAI 的参数-高尔夫挑战赛中展现出竞争力。 AI
影响 为模型训练提供了一种低显存的替代方案，可能在消费级硬件上实现更大模型的训练。
排序理由 发布了一款新的开源优化器，并附有基准测试结果和代码。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
