实体 QUADS

QUADS

PulseAugur coverage of QUADS — every cluster mentioning QUADS across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_151988 · Jul 20 · 04:00

新的QUADS技术稳定MoE LLM的NVFP4强化学习

研究人员开发了一种名为QUADS的新技术，通过使用NVFP4低精度格式来稳定混合专家（MoE）大语言模型的强化学习（RL）。他们发现，激活误差而非权重误差是MoE模型FP4 RL不稳定的主要原因。QUADS通过在训练器端实现不对称量化感知训练，并在回滚端实现残差激活补偿来解决此问题，达到了BF16级别的准确率并提高了吞吐量。