DiLoCo
PulseAugur coverage of DiLoCo — every cluster mentioning DiLoCo across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
模型合并技术在新的 IsoLoCo 方法中增强了分布式学习
研究人员探索了使用模型合并技术来改进分布式学习方法（如 DiLoCo）中的聚合。通过将本地 SGD/DiLoCo 中的伪梯度聚合与基于任务算术的模型合并进行类比，他们确定 Iso-C 是一种有前景的方法。他们提出了 IsoLoCo，该方法通过 Nesterov 动量对 Iso-C 进行调整以进行分布式训练，与标准的 DiLoCo 相比，性能有了显著提高，尤其是在工作节点数量增加的情况下。
-
新的 DiLoCo 调度控制器优化共享 AI 基础设施
一篇新的研究论文介绍了一种名为工作负载感知 DiLoCo (WA-DiLoCo) 的调度控制器，旨在优化共享 AI 基础设施。该系统旨在仅在必要时同步学习者集群以减少通信开销，这对于碎片化的工业 AI 队列尤其有利。研究表明，WA-DiLoCo 结合校准协议和一步 EWMA 突发预测，可以显著减少真实场景中的服务水平目标 (SLO) 违规。
-
FoMoE系统划分LLM专家以降低分布式训练成本
研究人员推出FoMoE，一个旨在克服跨地理分布式数据中心训练大型语言模型（LLMs）限制的新颖系统。与先前要求每个站点拥有完整模型副本的方法不同，FoMoE将专家层划分到各个工作节点，显著降低了通信成本和内存开销。这种方法能够更有效地扩展LLMs，实现了经验上的吞吐量加速，并预计为高达1000亿参数的模型带来巨大效益。
-
MuLoCo 框架使用 Muon 优化器增强 LLM 训练
研究人员推出 MuLoCo，一个旨在优化 DiLoCo 系统内大型语言模型 (LLM) 训练的新框架。MuLoCo 通过关注内部优化器的作用，解决了随着工作节点数量增加而观察到的 DiLoCo 性能下降问题。实验表明，与标准的 DiLoCo 和数据并行方法相比，使用 Muon 优化器的 MuLoCo 在各种规模下都能产生改进的伪梯度质量和卓越的模型训练性能。
-
新技术增强了机器学习分布式优化器的效率
研究人员引入了一种名为外动量重启动（Outer-Momentum Restarting）的新技术，以提高机器学习中使用的分布式优化器的效率。该方法涉及周期性地重置DiLoCo等优化器中的外动量，通过允许工作节点在聚合之前执行大量本地更新来降低同步成本。该技术有助于丢弃过时的动量同时保留进展，从而在语言模型预训练中为学习率和动量值提供更宽的稳定范围。
-
Google DeepMind 推出解耦 DiLoCo 以实现弹性 AI 模型训练
Google DeepMind 推出了 Decoupled DiLoCo，这是一种新颖的先进 AI 模型训练方法，可增强跨数据中心的弹性和灵活性。该系统可以在使用低带宽网络的地理分散区域跨多个数据中心训练 Google 的 12B Gemma 模型，甚至可以混合不同代硬件，例如 TPU6e 和 TPUv5p。Decoupled DiLoCo 被设计为自愈的，能够隔离并继续训练，即使出现人工硬件故障，并在单元恢复联机时重新集成，从而解决…
-
Decoupled DiLoCo 增强了分布式大语言模型预训练，打破了同步障碍
研究人员开发了 Decoupled DiLoCo，一种新的分布式预训练框架，旨在提高大规模语言模型训练的弹性和效率。该方法超越了传统的 SPMD 范式，允许多个独立的“学习者”异步执行本地优化步骤。中央同步器然后使用最小法定人数和动态令牌加权合并来聚合参数更新，从而有效地绕过失败或缓慢的学习者，并消除全局停机时间。
-
去中心化AI训练应运而生，以解决能源困境和碳足迹问题
去中心化AI训练正成为解决大型AI模型显著的能源消耗和碳足迹问题的方案。这种方法将训练过程分布在独立的节点网络中，利用现有的计算能力，而不是仅仅依赖于庞大的、集中的数据中心。公司正在开发新的网络硬件和GPU即服务市场来促进这种分布式模型，同时像联邦学习这样的技术正在被改编以管理软件的复杂性。