Stochastic rounding: implementation, error analysis and applications
PulseAugur coverage of Stochastic rounding: implementation, error analysis and applications — every cluster mentioning Stochastic rounding: implementation, error analysis and applications across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新方法提高了RL训练后BF16的收敛速度
一篇新的研究论文提出了一种方法，使用bfloat16 (BF16) 精度来提高强化学习 (RL) 训练后的收敛速度。研究发现，“权重粘滞”是导致BF16相比FP16收敛速度较慢的原因，即FP32影子权重的微小更新不会立即反映在用于训练的BF16权重中。通过在将FP32影子权重量化为BF16的过程中应用随机舍入，该方法在无需损失缩放或更宽动态范围的情况下，匹配了FP16的收敛速度，同时还减少了KL散度。
-
新研究量化了随机舍入对SGD训练的影响
一篇新的arXiv论文探讨了随机舍入对使用随机梯度下降（SGD）训练深度学习模型的影响。该研究为线性网络的预测误差提供了理论界限，分析了模型大小、训练时间和精度如何影响性能。它确定了实现所需精度的最佳计算扩展和比特要求，并通过在MLP和Transformer模型上的实验来说明这些权衡。
-
新的量化方法提高了AI模型压缩和光谱性能
研究人员开发了新的模型量化方法，这是一种用于压缩AI模型的技术。一种名为YAQA的方法，为量化中的端到端误差界限提供了理论结果，其性能比GPTQ/LDLQ等现有方法提高了约30%，甚至超过了感知量化训练。另一项研究探索了随机舍入（SR），证明它是一种谱正则化器，不仅增加了矩阵的最小奇异值，还提升了频谱尾部整个奇异值簇。