实体
E2M1
E2M1
PulseAugur coverage of E2M1 — every cluster mentioning E2M1 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的QUADS技术稳定MoE LLM的NVFP4强化学习
研究人员开发了一种名为QUADS的新技术，通过使用NVFP4低精度格式来稳定混合专家（MoE）大语言模型的强化学习（RL）。他们发现，激活误差而非权重误差是MoE模型FP4 RL不稳定的主要原因。QUADS通过在训练器端实现不对称量化感知训练，并在回滚端实现残差激活补偿来解决此问题，达到了BF16级别的准确率并提高了吞吐量。
-
新的UFP4方法解决了LLM FP4预训练中的收缩偏差问题
一篇新研究论文介绍了一种名为UFP4的统一4位训练方法，旨在解决大型语言模型预训练中的收缩偏差问题。研究发现，当前非统一FP4格式（如NVIDIA Blackwell/Rubin和AMD MI350 GPU中使用的E2M1）会引入系统性舍入误差。相比之下，UFP4采用统一网格（E1M2/INT4）来提高量化质量，并在各种模型规模上展示出比现有的基于E2M1的方法更低的损失下降。