实体
Megatron-Core
Megatron-Core
PulseAugur coverage of Megatron-Core — every cluster mentioning Megatron-Core across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
FlashMask-3 通过优化的注意力核加速 LLM 训练
研究人员开发了 FlashMask-3,这是一种新颖的稀疏掩码核,旨在加速大型语言和多模态模型的长上下文注意力。这个新核优化了 Hopper 架构 GPU 的注意力机制,显著降低了通信开销并提高了训练吞吐量。基准测试表明,FlashMask-3 在涉及分布式训练和大上下文窗口的场景中,与 FlashAttention-3、FlexAttention 和 MagiAttention 等现有方法相比,取得了显著的性能提升。
-
Hugging Face 发布 Olmo-core 3,用于可扩展的万亿参数 MoE 训练
Hugging Face 发布了 Olmo-core 3,这是一个开源框架,旨在将专家混合(MoE)大语言模型的训练扩展到万亿参数规模。该新系统通过优化专家路由和跨 GPU 分布,解决了训练大型 MoE 所面临的计算效率低下和高成本问题。基准测试表明,Olmo-core 3 显著提高了训练吞吐量,与之前的实现相比,性能最高可提高 2.7 倍,同时即使在拥有大量专家的情况下也能保持计算效率。
-
新的SCOUT框架可检测LLM预训练中的故障
研究人员开发了SCOUT,一个旨在精确定位大型语言模型(LLM)预训练期间故障的新框架。SCOUT通过在等效副本之间建立严格的多数共识来识别异常值,从而定位停顿、减速或数值错误的根源。即使在训练过程挂起时,该系统也能保持响应,并且其回放功能有助于检测静默数据损坏并验证检查点完整性。SCOUT与PyTorch、TorchTitan、Megatron-Core和DeepSpeed等流行框架兼容。