实体 FP4 RL

FP4 RL

PulseAugur coverage of FP4 RL — every cluster mentioning FP4 RL across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_342146 · Nov 5 · 05:00

新的MoEResQ方法改进了混合专家LLM的FP4强化学习

研究人员开发了MoEResQ，一种将FP4强化学习（RL）应用于混合专家（MoE）大型语言模型的新方法。与适用于密集模型的先前方法不同，MoE架构独特的路由机制要求在训练和推理过程中对称地应用恢复技术以保持准确性。MoEResQ强制执行这种对称性，显著提高了训练-推理对齐度，并缩小了与全精度模型的准确性差距。