Pathways
PulseAugur coverage of Pathways — every cluster mentioning Pathways across labs, papers, and developer communities, ranked by signal.
- 2026-11-09 product_launch Google has introduced Pathways, a new distributed training system for large-scale AI models. 来源
3 天有情绪数据
-
新的LoCoJAX框架提高了TPU上小模型强化学习的效率
研究人员开发了LoCoJAX,一个旨在提高TPU上小模型强化学习效率的新框架。研究发现,现有的基于Pathways的强化学习模型在处理小模型时会产生显著的协调开销,对于一个0.6B参数的模型,主机编排会消耗36%的步进时间。LoCoJAX通过在每个TPU主机上实现本地rollout和奖励处理来解决这个问题,与Qwen3-0.6B上的优化Pathways基线相比,速度提高了1.3-3.6倍。对Ray管理的分解模式进行的进一步实验表明,当…
-
Google 发布 Pathways 分布式 AI 训练系统
Pathways 是一个新颖的分布式训练系统,旨在跨多个加速器组管理大规模模型训练。它利用单一控制器和全局数据流图来协调这些工作,旨在简化复杂的训练过程。
-
Google Cloud 上弹性 LLM 预训练指南
本文提供了一份关于保护大型语言模型 (LLM) 预训练免受中断影响的指南。它侧重于缓解硬件故障、软件升级和抢占式任务引起的问题的策略,特别是在多切片训练环境中。该指南利用 Google Cloud 的 Pathways 基础设施,确保在这些关键训练阶段的弹性和连续性。
-
专家混合模型:高效大语言模型解析
本文探讨了专家混合模型(Mixture of Experts, MoE)的概念,这是一种创建计算高效的大语言模型的方法。MoE架构允许模型为每个输入选择性地激活其部分参数,与密集模型相比,显著降低了每个token的计算成本。这种方法,以Google的Switch Transformers等模型为例,并可能被GPT-4等模型采用,使得在参数量达到万亿级别时,无需不成比例地增加计算费用即可进行训练和部署。
-
Google DeepMind 推出解耦 DiLoCo 以实现弹性 AI 模型训练
Google DeepMind 推出了 Decoupled DiLoCo,这是一种新颖的先进 AI 模型训练方法,可增强跨数据中心的弹性和灵活性。该系统可以在使用低带宽网络的地理分散区域跨多个数据中心训练 Google 的 12B Gemma 模型,甚至可以混合不同代硬件,例如 TPU6e 和 TPUv5p。Decoupled DiLoCo 被设计为自愈的,能够隔离并继续训练,即使出现人工硬件故障,并在单元恢复联机时重新集成,从而解决…
-
Google发布新款TPU用于AI训练和推理
Google发布了其第八代张量处理单元(TPU),包含两款专用芯片:用于训练的TPU 8t和用于推理的TPU 8i。这些新芯片旨在增强AI模型的能力,特别是对于需要复杂推理和多步执行的Agentic工作负载。TPU 8t旨在显著缩短模型开发时间,与前几代相比,计算性能和内存带宽大幅提升,而TPU 8i则专注于对Agent交互至关重要的低延迟推理。