研究人员开发了 LionVote，这是一种新颖的逐层学习率自适应机制，旨在优化 Lion 优化器。诊断显示，Lion 的默认学习率对于 Vision Transformer (ViT) 架构中的某些参数来说过高，导致不同层类型的有效尺度存在差异。LionVote 通过为每个参数张量维护一个复合级别来解决此问题，该级别根据梯度方向稳定性和动量健康度进行更新，并以验证损失作为决胜因素。在 ViT-Tiny/CIFAR-100 上，与标准的 Lion 优化器和 AdamW 相比，LionVote 在 top-1 准确率方面实现了轻微但统计学上显著的改进。 AI
影响 引入了一种逐层微调学习率的方法，有可能提高特定模型架构的训练效率和性能。
排序理由 该集群描述了一篇详细介绍机器学习模型新优化技术的新研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2607.09266v1 Announce Type: new Abstract: Per-layer diagnostics reveal that, at the prescribed learning rate, Lion's effective scale is 2.6-2.8x too high for attention and MLP parameters and ~2x too high for normalization layers on ViT-Tiny/CIFAR-100; this 32% cross-layer-t…
Per-layer diagnostics reveal that, at the prescribed learning rate, Lion's effective scale is 2.6-2.8x too high for attention and MLP parameters and ~2x too high for normalization layers on ViT-Tiny/CIFAR-100; this 32% cross-layer-type disparity cannot be reproduced by a single g…