实体
Megatron-Core
Megatron-Core
PulseAugur coverage of Megatron-Core — every cluster mentioning Megatron-Core across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Hugging Face 发布 Olmo-core 3，用于可扩展的万亿参数 MoE 训练
Hugging Face 发布了 Olmo-core 3，这是一个开源框架，旨在将专家混合（MoE）大语言模型的训练扩展到万亿参数规模。该新系统通过优化专家路由和跨 GPU 分布，解决了训练大型 MoE 所面临的计算效率低下和高成本问题。基准测试表明，Olmo-core 3 显著提高了训练吞吐量，与之前的实现相比，性能最高可提高 2.7 倍，同时即使在拥有大量专家的情况下也能保持计算效率。
-
新的SCOUT框架可检测LLM预训练中的故障
研究人员开发了SCOUT，一个旨在精确定位大型语言模型（LLM）预训练期间故障的新框架。SCOUT通过在等效副本之间建立严格的多数共识来识别异常值，从而定位停顿、减速或数值错误的根源。即使在训练过程挂起时，该系统也能保持响应，并且其回放功能有助于检测静默数据损坏并验证检查点完整性。SCOUT与PyTorch、TorchTitan、Megatron-Core和DeepSpeed等流行框架兼容。