activation checkpointing

新研究重新审视反向传播的机制和局限性 · 跟踪 4 个来源

三篇最新的 arXiv 论文探讨了深度学习中反向传播的机制和局限性。其中一篇论文将反向传播重新表述为一个幂零线性系统，揭示了其数学结构以及对残差网络和迁移学习的影响。另一项研究将反向传播与前向模式自动微分和零阶优化等替代方法进行了比较，发现虽然这些替代方法节省了内存，但计算成本更高，准确性也随之降低。第三篇论文将语言模型头识别为一个重要的梯度瓶颈，表明从内部特征到词汇 logits 的投影抑制了很大一部分梯度范数，导致次优的训练动态和效率低下。