实体 LionVote

LionVote

PulseAugur coverage of LionVote — every cluster mentioning LionVote across labs, papers, and developer communities, ranked by signal.

总计 · 30天

0

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_139262 · Jul 10 · 10:30

LionVote 通过逐层学习率自适应增强 Lion 优化器

研究人员开发了 LionVote，这是一种新颖的逐层学习率自适应机制，旨在优化 Lion 优化器。诊断显示，Lion 的默认学习率对于 Vision Transformer (ViT) 架构中的某些参数来说过高，导致不同层类型的有效尺度存在差异。LionVote 通过为每个参数张量维护一个复合级别来解决此问题，该级别根据梯度方向稳定性和动量健康度进行更新，并以验证损失作为决胜因素。在 ViT-Tiny/CIFAR-100 上，与标准的…