Softmax Cancellation

研究人员修复了 Softmax 和交叉熵实现中的数值错误

研究人员已识别并修复了标准 softmax、log-softmax 和交叉熵实现中的两个数值错误。第一个错误“Softmax 崩溃”会在一个 logit 显著大于其他 logit 时导致目标 logit 的梯度四舍五入为零，从而扰乱梯度和。第二个错误“Softmax 抵消”会在学生和教师 logit 相同时产生非零梯度，当这些 logit 相近时发生。提出的解决方案消除了“弹弓”现象，加速了带权重衰减的 grokking，并在没有权重…