一项新的研究论文指出，在微调过程中数据被洗牌的顺序会引入显著噪声，可能影响比较结果。这种噪声归因于像AdamW和SGD这样的优化器中的内存，它们根据步数索引而不是时间来处理梯度。该研究提出了量化这种顺序方差噪声的方法，并为有效的微调比较提供了标准。 AI
影响 强调了模型训练可复现性和比较中一个先前被低估的因素。
排序理由 该集群包含一篇详细介绍机器学习优化新发现的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
研究发现优化器内存会在人工智能模型微调中引入显著噪声
报道来源 [2]
-
优化器内存使洗牌顺序成为微调噪声的一阶来源
arXiv:2606.29554v1 Announce Type: cross Abstract: Shuffle order can be a larger source of fine-tuning noise than a memoryless analysis predicts: fixed-clock optimizer memory makes local equal-multiset contrasts first order in the learning rate rather than second order, and the re…
-
优化器内存使洗牌顺序成为微调噪声的一阶来源
Shuffle order can be a larger source of fine-tuning noise than a memoryless analysis predicts: fixed-clock optimizer memory makes local equal-multiset contrasts first order in the learning rate rather than second order, and the resulting order channel can be large enough for a si…