Oğuzhan Ersoy

新的 NoLoCo 方法大幅削减大语言模型训练通信成本

研究人员开发了一种名为 NoLoCo 的新颖优化方法，旨在显著降低大语言模型训练期间的通信开销。与仍需要全局同步的现有低通信方法不同，NoLoCo 通过在随机选择的子组内部分平均模型权重来避免这种情况。与完全分片数据并行训练和 DiLoCo 等方法相比，这种方法导致通信强度较低。实证结果表明，NoLoCo 可以将最终困惑度提高高达 4%，并将实际运行时间收敛速度提高高达四倍。