Reddit 的 r/MachineLearning 版块上的一场讨论质疑了为什么 OKLS(优化的低秩适配核)在步数效率上未能超越 Muon,尽管 OKLS 是 KL-Shampoo 的零延迟实现。原帖指出,KL-Shampoo 通常比 SOAP 在步数效率上更优,而 OKLS 预计也会如此。虽然 OKLS 据报道在非常长的训练运行中参数效率超过了 Muon,但其每迭代步数的性能却令人困惑。 AI
排序理由 Reddit 讨论质疑两种方法的性能。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →