Megatron-LM
PulseAugur coverage of Megatron-LM — every cluster mentioning Megatron-LM across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新方法解决MoE训练瓶颈，提高效率和可扩展性
两篇新的研究论文提出了在预训练期间优化专家混合（MoE）模型的方法，解决了阻碍可扩展性的显著通信开销。第一篇论文《MoE预训练中的专家耦合》引入了相关的专家放置和token打乱，以减少全对全通信，实现了高达1.41倍的步进时间缩减。第二篇论文《面向分布式MoE训练的内存高效专家路由》提出了RelayMoE，一种基于环的执行模型，可最大限度地减少内存使用并使通信与计算重叠，从而实现了高达2.02倍的吞吐量提升，并支持更长的序列长度。
-
MoEless 框架通过降低延迟和成本来提高 LLM 服务效率
研究人员开发了 MoEless，一个旨在提高服务专家混合（MoE）大语言模型（LLM）效率的新颖框架。MoE 架构通常存在专家之间的负载不平衡问题，导致延迟和成本增加。MoEless 通过使用弹性专家执行和轻量级预测器来识别和管理滞后专家，优化函数局部性和 GPU 利用率来解决这个问题。实验表明，与现有解决方案相比，MoEless 可以显著降低推理延迟和成本。
-
HAPMoE规划器优化异构集群上的MoE模型训练
研究人员开发了HAPMoE，一种新的自动并行规划器，旨在优化专家混合（MoE）模型在异构计算集群上的训练。现有方法在面对MoE架构和多样化硬件时会遇到困难，但HAPMoE通过引入一个感知MoE的成本模型来解决这个问题。该系统有效地搜索了一个六维并行空间，生成与Megatron-LM兼容的规划。实验表明，与现有方法相比，HAPMoE可以将训练吞吐量提高高达3.2倍，其中流水线划分的特定优化带来了进一步的显著收益。
-
NVIDIA 研究表明 AdamW 优化器存在规模上限
NVIDIA 研究人员发布了新发现，表明 AdamW 优化器可能存在规模上限。他们的工作表明，在用于预测下一个 token 的批量大小高达 1000 万个 token 时，SOAP 和 Muon 等优化器能够保持训练稳定性和质量，而 AdamW 则会下降。研究人员通过正交化和预条件处理解决了 SOAP 在大批量情况下的不稳定性问题，证明了在训练数万亿 token 的数十亿参数模型时，Muon 和 SOAP 的表现始终优于 AdamW。…
-
NVIDIA 发布 Audex，一个统一的音频-文本大语言模型，保留文本智能
NVIDIA 推出了 Audex (Nemotron-Labs-Audex-30B-A3B)，一个能够理解和生成音频及语音的统一音频-文本大语言模型。与许多文本性能有所下降的多模态模型不同，Audex 的设计旨在保持其 Nemotron-Cascade-2-30B-A3B 骨干模型的文本智能。该模型通过多阶段训练过程和纯文本强化学习来实现这一点，从而在文本基准测试中取得有竞争力的分数，并具备强大的音频能力，包括超越语音的通用音频生成。
-
新基准和方法推动多模态大语言模型能力发展
研究人员正在开发新的多模态大语言模型（MLLMs）方法，以提高它们对顺序音视频数据和大规模视觉识别的理解能力。一种方法DLLM-VSR使用扩散模型进行视觉语音识别，通过迭代去噪和解码转录文本取得了最先进的成果。另一篇论文介绍了SONIC-O1，这是一个用于评估MLLMs在真实世界音视频理解能力的基准，突出了不同人口群体之间的性能差异。此外，还在探索用于MLLMs高效训练和推理的新技术，包括用于训练的异构并行以及用于推理的“分而治之”策…
-
PyTorch 教程简化分布式人工智能模型推理
本文使用 PyTorch 解释了大型人工智能模型的分布式推理技术。它详细介绍了如何用最少的代码实现数据并行 (DP)、张量并行 (TP) 和流水线并行 (PP)。演示使用了一个小型模型和两个 GPU 来说明这些概念，旨在揭开 Megatron-LM 和 DeepSpeed 等复杂框架的神秘面纱。
-
新型1.58位大语言模型家族推理内存减少6倍
新一代大语言模型BitCPM-CANN家族采用了一种新颖的1.58位三元量化技术。这些模型参数量从0.5B到8B不等，显著减少了推理内存占用，约为全精度模型的六分之一。在华为Ascend NPU上进行的训练过程引入的开销极小，吞吐量仅下降5%。
-
新方法解决大语言模型量化问题，以提高效率和准确性
研究人员开发了多种通过量化提高大语言模型（LLM）效率的新方法。OSAQ 专注于利用低秩 Hessian 属性抑制权重异常值，实现精确的低比特仅权重量化。BWLA 引入了一个框架，用于 1 位权重量化和低比特激活，实现了显著的推理加速。AGoQ 通过采用感知层激活量化和 8 位梯度存储，以内存高效的方式进行分布式训练，减少了内存使用并提高了训练速度。
-
为什么英伟达与 Bryan Catanzaro 一起构建开放模型
英伟达正在显著扩展其开放模型计划，发布更高质量的模型和数据集。该战略通过从开放语言模型中获取价值，为英伟达创造可持续的优势。公司的努力包括 Nemotron 系列，近期发布了 Nemotron 3 Nano 以及即将推出的 Super 和 Ultra 版本，同时还提供了一套全面的训练软件和数据集。