一种名为 Dobb 的新优化器已显著缩短了 GPU 训练调用时间。这种矩阵感知的优化器在 arXiv 上进行了详细介绍,在 32 个 NVIDIA H100 GPU 上测试时,将每步调用时间从 124.1ms 缩短至 9.2ms。Dobb 通过在每个分片内执行本地更新来实现这种效率。 AI
影响 这项优化可以显著加快 AI 模型训练速度,有可能降低成本并加速开发周期。
排序理由 该集群描述了一种在 arXiv 论文中详细介绍的新优化器,这是一个研究里程碑。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →