实体 LionVote

LionVote

PulseAugur coverage of LionVote — every cluster mentioning LionVote across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_139262 · Jul 10 · 10:30

LionVote 机制优化 Lion 优化器的学习率

研究人员开发了 LionVote，这是一种新颖的机制，旨在优化神经网络不同层上 Lion 优化器的学习率。通过分析逐层诊断，LionVote 发现 Lion 在 ViT-Tiny 模型于 CIFAR-100 上训练时，其有效学习尺度对于某些参数过高。这种新方法在该特定任务上实现了比标准 Lion 优化器和 AdamW 略微提升的 top-1 准确率。