Verl
PulseAugur coverage of Verl — every cluster mentioning Verl across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
编码代理在处理复杂的 AI 基础设施任务时遇到困难，成功率仅为 38.9%
InfraDev 是一个评估编码代理的项目，测试了它们执行复杂 AI 基础设施任务的能力。这些代理面临着来自 Megatron-LM、vLLM 和 Verl 等项目的 36 项涉及多文件、多 GPU 的更改的挑战。表现最好的前沿模型在这些任务上的成功率为 38.9%，但该基准在全面评估能力方面也存在局限性。
-
Blackwell 上的 MXFP8 强化学习：速度、一致性和失败模式的探讨
一篇新的研究论文探讨了在 NVIDIA Blackwell 平台上，将 MXFP8 精度用于端到端强化学习（RL）与大型语言模型（LLM）的应用。该研究使用各种框架和模型（包括 Qwen3），在 B200 GPU 上实现并测量了这种方法。研究结果表明，MXFP8 可以提高某些模型的稳定性和缩短步长和生成时间，但它可能会减慢短序列密集型工作负载的速度，并引入必须保留的权重同步特定条件，以避免静默失败。
-
LLM 的 MXFP8 强化学习：收益、痛点与正确性
一篇新论文探讨了在大型语言模型 (LLM) 中使用 MXFP8 精度进行强化学习 (RL) 的方法，旨在降低计算成本。该研究在 B200 GPU 上使用 Qwen 模型实现了端到端的 MXFP8 RL，并评估了其在匹配、速度和正确性方面的性能。结果表明，虽然 MXFP8 可以为某些工作负载（特别是具有混合专家模型 (MoE) 的工作负载）提供加速，但它会带来一致性挑战，并且需要仔细验证以确保正确性，一些失败甚至可能未被标准检查检测到。
-
研究：arXiv论文中的少数强化学习方法被开源框架采纳
一项对七个开源强化学习（RL）训练框架的分析研究发现，arXiv论文中提出的RL方法被整合到这些框架中的比例很低。在1598篇提出通用RL方法的论文中，只有37篇在180天内被至少一个框架采纳。更频繁被纳入的论文涉及训练参数量在300亿或以上策略以及对现有损失函数的修改。研究还表明，许多提出的方法并未在框架的issue tracker中公开讨论或审查，这表明了采纳过程中存在瓶颈。
-
新的 LLM 研究解决了遗忘、加速、服务和评估问题
多篇研究论文探讨了大语言模型（LLM）能力和效率方面的进展。“Nullify” 提出了一种无需训练的方法，可以在不影响效用的情况下从 LLM 中遗忘敏感信息。DynaTE 提出了一种硬件-软件协同设计，通过动态调整基于 token 状态的执行来加速扩散 LLM。Mooncake 提供了一种用于 LLM 服务的解耦架构，优化 KVCache 利用率以提高吞吐量并满足延迟要求。其他研究则侧重于可复现的 LLM 推理基准测试、来自隐式反馈的…
-
新的强化学习研究揭示了奖励塑造和过滤中的关键缺陷
一篇新的研究论文强调了群体相对强化学习（RL）方法中的一个关键缺陷，特别是在使用奖励塑造时与“过滤器指标”相关。研究表明，如果过滤机制优先考虑塑造后的训练分数而不是实际任务结果，就可能导致“幻影优势”。这是因为那些未能完成任务但由于奖励塑造而得分高的群体仍然可以通过过滤器，人为地夸大了它们的可感知性能，并可能误导学习过程。该论文建议使用与塑造无关的任务结果信号进行过滤，以确保更可靠和准确的RL代理训练。
-
AI模型评估可能因接口审查而产生误导
一项新的研究论文强调了一种称为“接口诱导的轨迹审查”的现象，即用于评估AI模型的接口可能会错误地报告零工具使用，即使模型正在生成有效的工具调用。在BFCL v4、Qwen2.5-Coder和Llama-3.1-8b等各种模型中都观察到了这个问题，同一个模型仅根据使用的服务适配器就会显示出截然不同的性能指标。该论文指出，这种审查效应与规模有关，并且可能发生在训练循环本身中，从而影响观察到的工具调用率，而工具调用率是模型-接口堆栈的属性，…
-
新框架简化了 LLM 工具使用代理的 RL 训练
研究人员开发了 MCP-Universe RL (MCP-U RL)，这是一个开源框架，旨在简化利用工具的大型语言模型 (LLM) 代理的训练。该框架解决了两个关键挑战：高效管理大量隔离环境以进行并发训练轨迹，以及在涉及缓慢工具调用的长多轮对话中优化 GPU 利用率。MCP-U RL 与用于环境接口的模型上下文协议 (MCP) 集成，并包含环境和 rollout 管理的编排层，使代理能够在软件工程和深度研究等各种领域进行训练。
-
Provenir 应对 LLM 训练失败：奖励欺骗、污染、不可复现性
一个名为 Provenir 的新开源项目旨在解决现代 LLM 训练中三个关键但常常被忽视的失败：奖励欺骗（reward hacking）、评估污染（evaluation contamination）和不可复现性（irreproducibility）。奖励欺骗是指模型学会了满足奖励信号而没有真正推理；评估污染是指基准测试数据泄露到训练集中；不可复现性是指无法复制训练过程。Provenir 提供了诸如飞行记录器、奖励欺骗检测器、污染检查器…
-
新的DigenRL框架通过解耦强化学习加速扩散式生成大语言模型 · 跟踪3个来源
研究人员开发了DigenRL，一个解耦强化学习框架，旨在提高基于扩散的生成式大语言模型的效率。该新框架通过实现灵活的资源分配和兼容异构GPU来解决现有系统的局限性。DigenRL引入了生成轴流水线（GAP）和时间步长并行（TSP）等新技术，以改进rollout和训练之间的流水线操作，并结合了弹性Trainer-Assisted Generation（TAG）方法。实验表明，DigenRL显著提高了吞吐量，与当前最先进的系统相比，最高可…
-
开发者详述 verl RL 框架内部原理及 NCCL bug
一位开发者详细介绍了他在使用 ByteDance 的 verl 框架进行 RL 后训练的经历，包括其内部工作原理以及 fork 该项目的挑战。这篇博文涵盖了框架的编排层、资源管理以及维护 fork 所需的工程开销。它还重点介绍了一个与网络接口选择相关的特定 NCCL bug，该 bug 导致多 GPU 测试挂起。
-
开源流水线训练Lean 4定理证明器，创下新基准 · 跟踪1个来源
Hugging Face发布了Kimina-Prover-RL，这是一个用于Lean 4编程语言中形式定理证明的开源训练流水线。该流水线受DeepSeek-R1启发，并利用Verl库的GRPO强化学习方法，使模型能够生成自然语言推理跟踪，随后生成相应的Lean代码。因此发布了两个模型：AI-MO/Kimina-Prover-RL-1.7B和AI-MO/Kimina-Prover-RL-0.6B，它们都在各自的规模类别中创下了MiniF…