PulseAugur
中
实时 13:21:04
English(EN) LionVote: Per-Layer Learning Rate Adaptation for Lion

LionVote 机制优化 Lion 优化器的学习率

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了 LionVote，这是一种新颖的机制，旨在优化神经网络不同层上 Lion 优化器的学习率。通过分析逐层诊断，LionVote 发现 Lion 在 ViT-Tiny 模型于 CIFAR-100 上训练时，其有效学习尺度对于某些参数过高。这种新方法在该特定任务上实现了比标准 Lion 优化器和 AdamW 略微提升的 top-1 准确率。 AI

影响 引入了一种可能提高某些神经网络架构训练效率和性能的方法。

排序理由 学术论文，详细介绍了一种针对特定 AI 模型的新优化技术。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

LionVote 机制优化 Lion 优化器的学习率

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Kris Atallah (New York University, New York, USA) ·

    LionVote: Per-Layer Learning Rate Adaptation for Lion

    arXiv:2607.09266v1 Announce Type: new Abstract: Per-layer diagnostics reveal that, at the prescribed learning rate, Lion's effective scale is 2.6-2.8x too high for attention and MLP parameters and ~2x too high for normalization layers on ViT-Tiny/CIFAR-100; this 32% cross-layer-t…

  2. arXiv cs.LG TIER_1 English(EN) · Kris Atallah ·

    LionVote：Lion 的逐层学习率自适应

    Per-layer diagnostics reveal that, at the prescribed learning rate, Lion's effective scale is 2.6-2.8x too high for attention and MLP parameters and ~2x too high for normalization layers on ViT-Tiny/CIFAR-100; this 32% cross-layer-type disparity cannot be reproduced by a single g…

相关实体

相关话题