TorchTitan
PulseAugur coverage of TorchTitan — every cluster mentioning TorchTitan across labs, papers, and developer communities, ranked by signal.
- 2026-11-20 product_launch TorchTitan released version 0.4.0, unifying AI training and RL on PyTorch 2.15. 来源
4 天有情绪数据
-
TorchTitan v0.4.0 在 PyTorch 2.15 上统一了 AI 训练和 RL
TorchTitan 发布了 0.4.0 版本,现已与 PyTorch 2.15 对齐。此次更新在一个代码库中统一了预训练、微调和强化学习,旨在简化大型 AI 模型开发团队的流程。
-
使用TorchTitan优化在384个GH200 GPU上训练的1T MoE模型
研究人员详细介绍了他们在JUPITER超级计算机上训练一个拥有1万亿参数的混合专家(MoE)模型的过程,该过程使用了384个NVIDIA GH200 GPU。通过结合使用全分片数据并行(FSDP)和专家并行(EP),以及先进的内存优化技术,他们实现了每个GPU大约1300个token/秒的吞吐量。关键策略包括完全激活检查点、将激活卸载到Grace CPU,以及使用Muon优化器来减少内存开销和通信瓶颈。
-
Prime Intellect 通过融合后向传播内核提高 MoE 训练速度
Prime Intellect 通过添加融合、重叠的后向传播,增强了 DeepSeek 的 Mega MoE 内核,使其适用于训练专家混合(MoE)模型。与现有基线相比,该新内核 Prime Mega MoE 的训练步骤速度最高可提高 34%,与 TorchTitan 相比最高可提高 55%。前向传播的性能提升更为显著,最高可达 3.11 倍,而后向传播的改进则较为温和,约为 1.24 倍。该内核支持各种 NVIDIA GPU,包括 …
-
AWS 使用 TorchTitan 框架支持在 Trainium 上训练 Qwen3 LLM
AWS 支持开发者使用其 Trainium 芯片和 TorchTitan 框架来训练 Qwen3 大型语言模型。此次集成支持灵活的训练方式,包括从头开始预训练或对现有模型进行微调。该过程利用标准的 PyTorch 接口,并提供了使用 Hugging Face 的 Transformers v5、TorchTitan 的原生 Qwen3 实现或通过 Neuron Kernel Interface 使用自定义内核的选项。
-
Google 开源 TorchTPU,为 Cloud TPUs 提供原生 PyTorch 后端
Google 发布了 TorchTPU,一个专为 Google Cloud TPUs 设计的开源 PyTorch 后端。TorchTPU 与 Meta 的 PyTorch 团队合作开发,并在 PyTorch Conference 2026 上宣布,它允许 PyTorch 代码在 TPUs 上原生运行,将 TPUs 作为与 GPU 和 CPU 并列的标准设备。这个新的后端取代了旧的 PyTorch/XLA,提供了改进的性能,支持用于调试…
-
新的SCOUT框架可检测LLM预训练中的故障
研究人员开发了SCOUT,一个旨在精确定位大型语言模型(LLM)预训练期间故障的新框架。SCOUT通过在等效副本之间建立严格的多数共识来识别异常值,从而定位停顿、减速或数值错误的根源。即使在训练过程挂起时,该系统也能保持响应,并且其回放功能有助于检测静默数据损坏并验证检查点完整性。SCOUT与PyTorch、TorchTitan、Megatron-Core和DeepSpeed等流行框架兼容。