PulseAugur
中
实时 19:51:34
实体 Pathways

Pathways

PulseAugur coverage of Pathways — every cluster mentioning Pathways across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
6
90 天内 6
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
时间线
  1. 2026-11-09 product_launch Google has introduced Pathways, a new distributed training system for large-scale AI models. 来源
情绪 · 30 天

3 天有情绪数据

最近 · 第 1/1 页 · 共 6 条
  1. TOOL · CL_366324 ·

    新的LoCoJAX框架提高了TPU上小模型强化学习的效率

    研究人员开发了LoCoJAX,一个旨在提高TPU上小模型强化学习效率的新框架。研究发现,现有的基于Pathways的强化学习模型在处理小模型时会产生显著的协调开销,对于一个0.6B参数的模型,主机编排会消耗36%的步进时间。LoCoJAX通过在每个TPU主机上实现本地rollout和奖励处理来解决这个问题,与Qwen3-0.6B上的优化Pathways基线相比,速度提高了1.3-3.6倍。对Ray管理的分解模式进行的进一步实验表明,当…

  2. SIGNIFICANT · CL_349278 ·

    Google 发布 Pathways 分布式 AI 训练系统

    Pathways 是一个新颖的分布式训练系统,旨在跨多个加速器组管理大规模模型训练。它利用单一控制器和全局数据流图来协调这些工作,旨在简化复杂的训练过程。

  3. TOOL · CL_342820 ·

    Google Cloud 上弹性 LLM 预训练指南

    本文提供了一份关于保护大型语言模型 (LLM) 预训练免受中断影响的指南。它侧重于缓解硬件故障、软件升级和抢占式任务引起的问题的策略,特别是在多切片训练环境中。该指南利用 Google Cloud 的 Pathways 基础设施,确保在这些关键训练阶段的弹性和连续性。

  4. TOOL · CL_316273 ·

    专家混合模型:高效大语言模型解析

    本文探讨了专家混合模型(Mixture of Experts, MoE)的概念,这是一种创建计算高效的大语言模型的方法。MoE架构允许模型为每个输入选择性地激活其部分参数,与密集模型相比,显著降低了每个token的计算成本。这种方法,以Google的Switch Transformers等模型为例,并可能被GPT-4等模型采用,使得在参数量达到万亿级别时,无需不成比例地增加计算费用即可进行训练和部署。

  5. RESEARCH · CL_03237 ·

    Google DeepMind 推出解耦 DiLoCo 以实现弹性 AI 模型训练

    Google DeepMind 推出了 Decoupled DiLoCo,这是一种新颖的先进 AI 模型训练方法,可增强跨数据中心的弹性和灵活性。该系统可以在使用低带宽网络的地理分散区域跨多个数据中心训练 Google 的 12B Gemma 模型,甚至可以混合不同代硬件,例如 TPU6e 和 TPUv5p。Decoupled DiLoCo 被设计为自愈的,能够隔离并继续训练,即使出现人工硬件故障,并在单元恢复联机时重新集成,从而解决…

  6. SIGNIFICANT · CL_03621 ·

    Google发布新款TPU用于AI训练和推理

    Google发布了其第八代张量处理单元(TPU),包含两款专用芯片:用于训练的TPU 8t和用于推理的TPU 8i。这些新芯片旨在增强AI模型的能力,特别是对于需要复杂推理和多步执行的Agentic工作负载。TPU 8t旨在显著缩短模型开发时间,与前几代相比,计算性能和内存带宽大幅提升,而TPU 8i则专注于对Agent交互至关重要的低延迟推理。