实体
DeepScaleR
DeepScaleR
PulseAugur coverage of DeepScaleR — every cluster mentioning DeepScaleR across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新的强化学习方法NGU解决了LLM训练中的“马太效应”·跟踪2个来源
一篇新研究论文介绍了“LLM强化学习中的马太效应”，该效应观察到强化学习不成比例地使大型语言模型的简单任务受益，而困难任务的改进却很小。为了解决这个问题，该论文提出了“永不放弃”（NGU），一种自适应采样方法，重新分配计算资源。NGU通过持续生成样本直到找到正确解决方案来优先处理更难的问题，从而提高每计算的性能，尤其是在具有挑战性的任务上。
-
新的MADA-RL框架通过参数高效的辩论学习提升紧凑模型的推理能力
研究人员开发了MADA-RL，一个新颖的训练后框架，旨在利用参数高效的方法增强紧凑型语言模型（40亿参数以下）的推理能力。该框架使用独特的辩论感知学习信号来训练专门的生成器和评估器模型，仅通过LoRA适配器微调一小部分参数。MADA-RL在DeepSeek-R1-Distill-Qwen-1.5B模型的数学推理基准测试中展示了2.0个百分点的准确率提升，并且与完全微调相比，可训练参数数量显著减少。
-
新方法通过自适应并行加速 RLHF 训练
研究人员开发了一种名为 PAT 的新方法，以加速人类反馈强化学习 (RLHF) 模型的训练。该技术在生成阶段动态调整张量并行，解决了长响应时间瓶颈化进程的问题。通过智能地重新配置并行和管理解码状态，PAT 已证明在 LLaMA3.1-8B 和 Qwen3-14B 等模型上显著降低了生成和端到端训练的延迟。