PulseAugur
中
实时 06:37:27
English(EN) DASH: Faster Shampoo via Batched Block Preconditioning and Efficient Inverse-Root Solvers

DASH 优化器通过 GPU 和求根创新将 Shampoo 加速高达 5.6 倍

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 DASH，这是 Shampoo 优化器的一个显著更快的实现，用于机器学习。DASH 利用批处理块预处理来提高 GPU 利用率，并引入了牛顿-DB 和切比雪夫多项式近似等新方法来计算逆矩阵根。与现有的分布式 Shampoo 实现相比，这种优化使优化器步长速度提高了 5.6 倍，同时在每次迭代中也实现了更低的验证困惑度。 AI

影响 通过提高优化器效率来加速大型机器学习模型的训练。

排序理由 详细介绍优化机器学习算法新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

DASH 优化器通过 GPU 和求根创新将 Shampoo 加速高达 5.6 倍

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Ionut-Vlad Modoranu, Philip Zmushko, Erik Schultheis, Mher Safaryan, Dan Alistarh ·

    DASH：通过批量块预处理和高效逆根求解器实现更快的洗发水

    arXiv:2602.02016v2 Announce Type: replace Abstract: Shampoo is one of the leading approximate second-order optimizers: a variant of it has won the MLCommons AlgoPerf competition, and it has been shown to produce models with lower activation outliers that are easier to compress. Y…

相关实体

相关话题