Adaptive Data Scheduling
PulseAugur coverage of Adaptive Data Scheduling — every cluster mentioning Adaptive Data Scheduling across labs, papers, and developer communities, ranked by signal.
-
新研究通过先进的奖励建模和数据调度增强LLM的强化学习
研究人员正在开发先进的技术来改进大型语言模型（LLM）的强化学习（RL），特别是在奖励稀疏的复杂任务中。一种方法是递归奖励改进（RRI），它使用一个对抗者来识别和修复模型生成的评分标准中可利用的奖励漏洞，在临床报告生成任务上显示出显著的收益。另一种方法CleanRM通过使用少量干净的样本来校准样本噪声比，解决了人类反馈数据中的噪声问题，从而实现了更有效的从人类反馈中进行强化学习（RLHF）。此外，用于RL的进度奖励模型（PRM4RL）…
-
新研究探索用于智能体生存、导航和可解释性的高级强化学习 · 跟踪 7 个来源
研究人员正在探索强化学习（RL）的高级技术，以增强智能体的性能和可解释性。一项研究提出了程序化策略（PERL）作为进化 RL 中神经策略（NERL）的替代方案，证明了 PERL 更高的生存率。另一篇论文侧重于使用 RL 进行自主机器人的流感知导航，发现使用速度和记忆传感器训练的智能体优于那些具有显式全局流参数的智能体。此外，正在开发新的方法来解释 RL 智能体，例如使用归纳逻辑编程（ILP）为策略可解释性创建客观指标，以及一种称为 S…
-
新的大语言模型训练方法优化数据调度以提高效率和性能
研究人员开发了通过先进数据调度技术优化大语言模型（LLM）训练的新方法。一种方法是整体数据调度器（HDS），它使用多目标强化学习在预训练期间动态调整数据混合，从而在 The Pile 和 MMLU 等基准测试中显著提高训练效率和模型性能。另一种方法是自适应数据调度（ADS），它通过从统一数据采样转向语义集群和策略边界样本的自适应分布，专注于改进训练后强化学习，在推理基准测试中显示出优势。此外，一种使用精选数据集和最小 GRPO 设置的…