PulseAugur
中
实时 19:23:06
实体 transformer engine

transformer engine

PulseAugur coverage of transformer engine — every cluster mentioning transformer engine across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
4
90 天内 5
发布 · 30天
0
90 天内 0
论文 · 30天
4
90 天内 4
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 5 条
  1. TOOL · CL_327226 ·

    Blackwell 上的 MXFP8 强化学习:速度、一致性和失败模式的探讨

    一篇新的研究论文探讨了在 NVIDIA Blackwell 平台上,将 MXFP8 精度用于端到端强化学习(RL)与大型语言模型(LLM)的应用。该研究使用各种框架和模型(包括 Qwen3),在 B200 GPU 上实现并测量了这种方法。研究结果表明,MXFP8 可以提高某些模型的稳定性和缩短步长和生成时间,但它可能会减慢短序列密集型工作负载的速度,并引入必须保留的权重同步特定条件,以避免静默失败。

  2. TOOL · CL_333966 ·

    LLM 的 MXFP8 强化学习:收益、痛点与正确性

    一篇新论文探讨了在大型语言模型 (LLM) 中使用 MXFP8 精度进行强化学习 (RL) 的方法,旨在降低计算成本。该研究在 B200 GPU 上使用 Qwen 模型实现了端到端的 MXFP8 RL,并评估了其在匹配、速度和正确性方面的性能。结果表明,虽然 MXFP8 可以为某些工作负载(特别是具有混合专家模型 (MoE) 的工作负载)提供加速,但它会带来一致性挑战,并且需要仔细验证以确保正确性,一些失败甚至可能未被标准检查检测到。

  3. TOOL · CL_325282 ·

    新框架 miniTE 可实现 LLM 稳定低比特强化学习

    研究人员开发了 miniTE 框架,旨在实现大型语言模型 (LLM) 的稳定低比特强化学习。该系统解决了训练和采样引擎之间数值执行不一致导致学习不稳定的挑战。通过诊断和对齐跨引擎数值格式,miniTE 在性能上接近 BF16,同时与朴素的 Transformer Engine NVFP4 相比显著提高了吞吐量。

  4. TOOL · CL_277186 ·

    新的FP4融合技术加速LLM预训练,性能优于bfloat16

    研究人员开发了一种名为“面向格式的融合”(format-aware fusion)的新技术,利用四位浮点数(FP4)精度来加速大型语言模型的预训练。该方法优化了量化生产者和消费者的交互,与标准的bfloat16和Transformer Engine方法相比,实现了显著的速度提升。在Llama-3-family 8B预训练上的评估表明,优化的FP4路径可以实现更高的tokens/s/GPU,同时保持具有竞争力的甚至有所改善的训练损失终点…

  5. TOOL · CL_176520 ·

    NVIDIA Transformer Engine 教程详细介绍 GPU 加速 LLM

    NVIDIA 的 Transformer Engine 在一篇教程中得到详细介绍,该教程解释了如何加速 Transformer 工作负载。该引擎结合了融合的 GPU 内核、BF16 计算和硬件感知的 FP8 执行。教程涵盖了安装、用于 TE 内核和 FP8 张量核心的 GPU 功能检测,以及 PyTorch 回退路径。它还检查了核心融合组件,并配置了用于管理张量缩放和格式的延迟缩放 FP8 配方。