Grpo
PulseAugur coverage of Grpo — every cluster mentioning Grpo across labs, papers, and developer communities, ranked by signal.
- developed by Language Models 95%
- developed Language Models 90%
- used by IArxiv 90%
- developed Artificial Intelligence In Medical Epidemiology 90%
- instance of Direct Preference Optimization 70%
- uses Direct Preference Optimization 70%
- used by Language Models 70%
- developed CatalyzeX Code Finder for Papers 70%
- used by AIME 2024 70%
- used by AIME25 70%
- used by Influence Flower 70%
- affiliated with Direct Preference Optimization 50%
26 天有情绪数据
GRPO and its variants (HölderPO, GROW) are central to recent LLM policy optimization research
Multiple recent clusters highlight GRPO and its derivatives (HölderPO, GROW) as key advancements in LLM policy optimization. This indicates a strong research trend focusing on refining reinforcement learning techniques for LLMs, particularly in areas like multi-agent interaction, handling complex reward structures, and improving stability and adaptability in diverse tasks.
GROW framework to see adoption for VLM agent development beyond Minecraft
The GROW framework, leveraging adapted GRPO, has shown state-of-the-art performance on over 800 Minecraft tasks for VLM agents. This success in a complex, open-world environment suggests potential for broader application in other VLM agent development scenarios, such as robotics, simulation, or other interactive environments where multi-turn learning and handling long contexts are critical.
GRPO to be integrated into Anyscale's LLM post-training automation
The recent Anyscale Agent Skill launch focuses on automating LLM post-training runs, while another cluster details GRPO's use in multi-agent LLM deferral to humans. Given GRPO's demonstrated ability to incorporate human expertise and Anyscale's push for automation, it's plausible GRPO will be integrated as a method within Anyscale's automated post-training workflows to enhance human-in-the-loop capabilities.
-
新的UP优化方法通过稳定探索增强LLM推理能力
研究人员推出了一种名为无界正非对称优化（Unbounded Positive Asymmetric Optimization, UP）的新型目标函数，旨在改进大型语言模型（LLMs）的强化学习（RL）。UP通过重构优化过程来解决标准RL算法固有的探索-稳定性困境。这种方法允许正优势梯度无裁剪，从而最大化探索，同时保持对负优势的裁剪以防止不稳定性。实验表明，UP在各种RL算法、模型架构和训练模式下都能增强探索和推理准确性。
-
Agon 框架使用竞争性 AI 模型对推理进行评分
研究人员推出了一种新颖的竞争性强化学习框架 Agon，旨在提高 AI 模型的推理能力。与仅对最终答案评分的传统方法不同，Agon 将两个模型进行对抗，每个模型通过隐式方式对另一个模型的推理过程进行评分。这种竞争性设置通过面对日益强大的对手，迫使模型发展出更好的思考策略，从而带来显著的性能提升。在 DeepMath 数据集上使用 Qwen3 进行测试时，Agon 的 pass@1 率是标准 GRPO 的两倍，并且比未经训练的 Mixtu…
-
新的AdaPrefix-GRPO方法提升AI在难题上的推理能力
研究人员开发了一种名为AdaPrefix-GRPO的新技术，以改进语言模型在复杂推理任务上的训练。该方法在训练过程中自适应地调整提供给模型的参考解前缀量，旨在将成功率保持在梯度信号最强的约50%左右。一旦训练完成，模型无需此辅助即可解决问题，在具有挑战性的数学问题上显示出显著的准确性提升，尤其对较小的模型而言。
-
MMAgent-R^2 通过视觉重排和拒绝增强多模态检索 · 跟踪 2 个来源
研究人员推出 MMAgent-R$^2$，这是一个新颖的 Agentic 框架，旨在增强多模态检索增强生成 (mRAG) 系统。该框架解决了现有 mRAG 方法在知识库中处理视觉相似实体时存在的局限性，这些局限性会导致问答错误。MMAgent-R$^2$ 结合了视觉重排，通过比较查询和候选图像来精确识别目标实体，并结合主动拒绝机制，在必要时丢弃不可靠的结果或检索新候选。该系统通过具有复合奖励函数的 GRPO 训练进行优化，在 Info…
-
Omni-RRM 通过自动化的评分标准引导奖励来推进多模态 LLM 对齐
研究人员推出 Omni-RRM，这是一种新颖的奖励模型，旨在改进多模态大语言模型 (MLLM) 的对齐。与主要以视觉为中心且依赖昂贵的人工标签的现有模型不同，Omni-RRM 可以跨文本、图像、视频和音频生成多维奖励信号。这是通过一个名为 Omni-Preference 的新数据集实现的，该数据集使用自动化流程来合成基于明确评分标准的偏好，从而降低了人工评估的成本和不一致性。Omni-RRM 在多个基准测试中（包括视频和音频任务）均展…
-
VaseMuseum框架通过可靠的VLM增强数字博物馆的陶器分析能力 · 追踪3个来源
研究人员开发了VaseMuseum，这是一个多模态代理框架，旨在增强古希腊陶器的交互式数字博物馆。该系统以VaseAgent为特色，通过将视觉证据与专业知识相结合并控制不确定性来解决VLM可靠性方面的挑战。VaseMuseum旨在通过从权威来源检索信息并确保生成的声明有证据支持来提高引文的有效性并减少幻觉。
-
Unsloth Studio 发布 v0.1.48-beta 版本，增强模型导出和 API 服务
Unsloth Studio 发布了 v0.1.48-beta 版本，为模型导出和 API 服务带来了显著增强。此次更新支持将模型导出为多种格式，包括 NVFP4、FP8 和 imatrix GGUFs，并引入了更强大的 OpenAI 兼容 API 服务，具备自动模型切换和工具调用修复等功能。此外，该版本还改进了 RAG 和文件聊天功能，提供更好的文档解析和可定制的嵌入模型，同时对 Unsloth 平台进行了整体优化和可靠性提升。
-
新的PRPC框架通过双向纠错增强了组合式零样本学习
研究人员开发了一个名为PRPC的新框架，用于组合式零样本学习（CZSL）。该方法通过逐步推理和相互纠错来显式建模属性和对象之间的双向依赖关系，从而解决了现有方法的局限性。PRPC将CZSL构建为一种思维链（Chain-of-Thought）推理过程，使用多模态大语言模型（MLLM）生成中间决策，并采用基于GRPO目标的强化学习来提高可靠性。在三个CZSL基准上的实验表明，PRPC取得了最先进的性能。
-
新的GRPO框架通过改进的奖励建模增强文本到图像生成
研究人员推出了一种新颖的框架TurningPoint-GRPO (TP-GRPO)，旨在提高使用流匹配的文本到图像生成模型中来自人类反馈的强化学习（RLHF）的有效性。TP-GRPO通过实现逐步增量奖励来解决稀疏奖励问题，为每个去噪步骤提供更精细的学习信号。此外，它还识别并为影响后续轨迹趋势的特定“转折点”步骤分配聚合的长期奖励，从而捕捉延迟影响。
-
OpenSIR框架通过自我博弈增强LLM推理能力
研究人员开发了OpenSIR，一个新颖的自我博弈框架，旨在增强大型语言模型的推理能力，而无需依赖外部标注数据集。该系统允许单个LLM生成并解决自己的问题，促进开放式探索和改进。在七个数学基准测试中，OpenSIR展示了持续的提升，其表现优于现有的自我博弈方法，甚至将其改进迁移到一般推理任务中。
-
新的基准NormWorlds-CF增强了AI模型的反事实推理能力
研究人员推出NormWorlds-CF，这是一个专为可执行规则世界中的反事实规范推理设计的新型环境，并由确定性求解器进行验证。该系统提供详细的输出，如最终答案、证明证书和论证状态，从而无需依赖LLM裁判即可进行稳健评估。该基准包括分阶段的SFT诊断和配对世界任务，其中开发了一种名为变质关系GRPO（MR-GRPO）的新奖励机制，通过为关系族和求解器可见的变更字段提供部分信用，以提高在结构化变更任务上的性能。
-
AWS SageMaker HyperPod 支持企业智能体进行多轮强化学习训练
AWS 在 Amazon SageMaker HyperPod 上推出了一种用于训练多轮强化学习智能体的新基础设施。该系统利用 Amazon Nova Forge，旨在通过从整个交互序列中学习，而不是孤立的响应，来优化智能体处理复杂的多步工作流。部署涉及一个事件驱动的管道，该管道可自动配置计算资源并路由奖励，使智能体能够学习工具编排和错误恢复，以完成诸如玩 Wordle 等任务。
-
阿里巴巴-清华大学关于dLLM推理的论文荣获ICML杰出论文奖
阿里巴巴与清华大学合作的论文《The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models》（灵活性陷阱：重新思考扩散语言模型中任意顺序的价值）荣获2026年ICML杰出论文奖。该研究挑战了扩散大型语言模型（dLLMs）受益于任意token生成顺序的普遍观点。研究表明，这种灵活性会导致“熵退化”，从而阻碍推理能力，尤…
-
新的HIEVI-RAG框架增强了长文档理解能力
研究人员推出了一种新颖的分层框架HIEVI-RAG，旨在改进多模态检索增强生成（RAG）系统中长文档的理解能力。该框架解决了当前RAG流程中的局限性，例如检索不相关页面和单遍处理的脆弱性。HIEVI-RAG采用了一个四阶段过程，包括问题分解、粗粒度视觉检索、使用EVIAGENT进行细粒度页面验证以及迭代生成，与现有基线相比，平均准确率提高了8.05%。
-
新AI方法训练代码生成器以实现节能
研究人员开发了一种新颖的方法来训练AI模型生成节能代码，超越了仅关注功能正确性的局限。他们引入了Green Tea，一个包含350万个C++问题评估的数据集，以及一个仿真工具来提供确定性的反馈，取代了不可靠的硬件测量。这种方法结合了监督微调和仿真引导的强化学习（GRPO），在未见过的问题上取得了12.63%的CARET分数，在大多数有效输出的节能方面显著优于标准微调甚至人类专家。研究还强调了像每周期指令数（IPC）这样的常用指标在准确…
-
CanvasAgent 编排视觉工具以实现复杂的图像创建
研究人员推出 CanvasAgent，这是一种用于复杂图像创建和编辑任务的新型多模态代理。该代理通过多轮交互编排各种视觉工具，超越了单步生成或编辑。为此，开发了一个名为 CanvasCraft 的大规模数据集，其中包含 140,000 个带注释的轨迹和 10,000 个强化学习任务规范。CanvasAgent 使用监督微调进行训练，然后使用 GRPO 进行优化，同时为最终结果和工具使用过程纳入奖励。
-
新框架将LLM验证视为一个可扩展轴
研究人员推出了一种名为“LLM-as-a-Verifier”的新颖框架，该框架将验证视为大型语言模型的一个新的可扩展轴。这种方法超越了离散评分，通过计算基于token logit分布的连续分数来实现，从而为代理任务提供更细粒度的反馈。该框架在Terminal-Bench V2和SWE-Bench Verified等多个基准测试中展示了最先进的性能，并且还可以提供任务的进度估计。此外，它还被集成到Claude Code中，以帮助开发人员…
-
TREK方法通过扩展探索支持来提升LLM推理能力
研究人员推出了一种新颖的分阶段程序TREK（Teacher-Routed Exploration via Forward KL），旨在增强语言模型的能力，特别是在复杂的推理任务中。TREK利用蒸馏并非为了直接模仿，而是为了扩展模型的探索支持，使其能够处理当前策略可能 falter 的提示。该方法在应用于Qwen3等模型时，在AIME 2024和AIME 2025等数学推理基准上显示出显著的改进，并且还提高了ALFWorld和Scien…
-
Unsloth 2026 提升 LLM 微调速度，降低 VRAM 使用量
Unsloth，一个流行的用于微调大型语言模型的开源库，发布了 2026 版本，在速度和内存方面都有显著改进。通过使用自定义 Triton 和 Python 重写核心训练内核，Unsloth 的训练速度比标准的 HuggingFace TRL 基线快一倍，并将 VRAM 使用量减少了 70%。这种优化使得在消费级 GPU（如单块 RTX 4090）上微调 Llama 3 70B 等大型模型成为可能，并支持在单 GPU 设置下使用 GR…
-
Mastermind框架提升AI代理漏洞复现成功率
研究人员开发了一个名为Mastermind的新框架，以提高AI代理在复杂软件工程任务（特别是漏洞复现）中的性能。该框架将可迁移策略的学习与特定任务的执行分离开来，允许一个可训练的规划器通过监督微调和强化学习来优化可重用策略。在测试GPT-5.5、GPT-5.4和GLM-5.1等模型时，Mastermind显著提高了它们识别和复现软件漏洞的成功率。