DeepSpeed
PulseAugur coverage of DeepSpeed — every cluster mentioning DeepSpeed across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Anyscale 详解 PyTorch 和 Ray 中的 FSDP，用于训练 Qwen3-TTS
这篇博文详细介绍了 PyTorch 中的完全分片数据并行（FSDP）技术，这是一种在多个 GPU 上高效训练大型 AI 模型的技术。它涵盖了 FSDP 的内部工作原理，演示了如何分片模型参数、梯度和优化器状态以最大限度地减少每个 GPU 的内存使用。文章包括实际示例，例如使用 PyTorch 和 Ray Train 训练 Vision Transformer 和微调 Qwen3-TTS 语音克隆模型。
-
开源框架加速 LLM 训练，支持 MoE/MoD
一位开发者创建了一个开源 PyTorch 框架，专为训练具有混合专家（MoE）和混合深度（MoD）架构的大型语言模型而设计。该框架包含自定义 CUDA 内核，与标准 PyTorch 相比速度显著提升，并提供了一个自适应训练协调器，可自动管理学习率和专家剪枝等参数。它支持从 50 万到 3000 亿参数的模型，并兼容 Apple Silicon。
-
PyTorch 教程简化分布式人工智能模型推理
本文使用 PyTorch 解释了大型人工智能模型的分布式推理技术。它详细介绍了如何用最少的代码实现数据并行 (DP)、张量并行 (TP) 和流水线并行 (PP)。演示使用了一个小型模型和两个 GPU 来说明这些概念，旨在揭开 Megatron-LM 和 DeepSpeed 等复杂框架的神秘面纱。
-
新方法解决大语言模型量化问题，以提高效率和准确性
研究人员开发了多种通过量化提高大语言模型（LLM）效率的新方法。OSAQ 专注于利用低秩 Hessian 属性抑制权重异常值，实现精确的低比特仅权重量化。BWLA 引入了一个框架，用于 1 位权重量化和低比特激活，实现了显著的推理加速。AGoQ 通过采用感知层激活量化和 8 位梯度存储，以内存高效的方式进行分布式训练，减少了内存使用并提高了训练速度。