研究人员已识别并修复了标准 softmax、log-softmax 和交叉熵实现中的两个数值错误。第一个错误“Softmax 崩溃”会在一个 logit 显著大于其他 logit 时导致目标 logit 的梯度四舍五入为零，从而扰乱梯度和。第二个错误“Softmax 抵消”会在学生和教师 logit 相同时产生非零梯度，当这些 logit 相近时发生。提出的解决方案消除了“弹弓”现象，加速了带权重衰减的 grokking，并在没有权重衰减的情况下防止了准确率崩溃。 AI
影响 修复可能会提高使用这些常用函数的模型的训练稳定性和效率。
排序理由 该集群包含一篇学术论文，详细介绍了对常见机器学习函数的修复方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
