一篇新论文探讨了在大型语言模型 (LLM) 中使用 MXFP8 精度进行强化学习 (RL) 的方法，旨在降低计算成本。该研究在 B200 GPU 上使用 Qwen 模型实现了端到端的 MXFP8 RL，并评估了其在匹配、速度和正确性方面的性能。结果表明，虽然 MXFP8 可以为某些工作负载（特别是具有混合专家模型 (MoE) 的工作负载）提供加速，但它会带来一致性挑战，并且需要仔细验证以确保正确性，一些失败甚至可能未被标准检查检测到。 AI
影响 这项研究探索了用于 LLM 训练的节省成本的技术，可能会影响未来模型开发的效率。
排序理由 该集群包含一篇研究论文，详细介绍了 LLM 强化学习低精度算力的新实现和评估。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- B200 GPUs
- bfloat16
- Blackwell
- MXFP8
- Qwen3-30B-A3B
- Qwen3-8B
- reinforcement learning
- SGLang
- transformer engine
- Verl
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
