Ionut-Vlad Modoranu

DASH 优化器通过 GPU 和求根创新将 Shampoo 加速高达 5.6 倍

研究人员开发了 DASH，这是 Shampoo 优化器的一个显著更快的实现，用于机器学习。DASH 利用批处理块预处理来提高 GPU 利用率，并引入了牛顿-DB 和切比雪夫多项式近似等新方法来计算逆矩阵根。与现有的分布式 Shampoo 实现相比，这种优化使优化器步长速度提高了 5.6 倍，同时在每次迭代中也实现了更低的验证困惑度。