实体
DeepScaleR
DeepScaleR
PulseAugur coverage of DeepScaleR — every cluster mentioning DeepScaleR across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的MADA-RL框架通过参数高效的辩论学习提升紧凑模型的推理能力
研究人员开发了MADA-RL，一个新颖的训练后框架，旨在利用参数高效的方法增强紧凑型语言模型（40亿参数以下）的推理能力。该框架使用独特的辩论感知学习信号来训练专门的生成器和评估器模型，仅通过LoRA适配器微调一小部分参数。MADA-RL在DeepSeek-R1-Distill-Qwen-1.5B模型的数学推理基准测试中展示了2.0个百分点的准确率提升，并且与完全微调相比，可训练参数数量显著减少。
-
新方法通过自适应并行加速 RLHF 训练
研究人员开发了一种名为 PAT 的新方法，以加速人类反馈强化学习 (RLHF) 模型的训练。该技术在生成阶段动态调整张量并行，解决了长响应时间瓶颈化进程的问题。通过智能地重新配置并行和管理解码状态，PAT 已证明在 LLaMA3.1-8B 和 Qwen3-14B 等模型上显著降低了生成和端到端训练的延迟。