PulseAugur
中
实时 10:10:09
实体 learning rate decay

learning rate decay

PulseAugur coverage of learning rate decay — every cluster mentioning learning rate decay across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_180596 ·

    研究将学习率与大型语言模型中的灾难性过度拟合联系起来

    一篇新的研究论文探讨了学习率在大型语言模型（LLMs）的监督微调（SFT）过程中如何影响灾难性过度拟合。该研究发表在arXiv上，表明即使在相同的SFT损失下进行训练，不同的学习率也会导致定性上不同的模型。具体而言，研究表明学习率衰减会增加预训练模型的尖锐度，进而加剧SFT过程中的遗忘和过度拟合。