Group Relative Policy Optimization
PulseAugur coverage of Group Relative Policy Optimization — every cluster mentioning Group Relative Policy Optimization across labs, papers, and developer communities, ranked by signal.
- instance of Grpo 90%
- developed Gotit.pub 90%
- developed ScienceCast 90%
- developed Reinforcement Learning with Verifiable Rewards 90%
- used by Grpo 70%
- instance of alphaXiv 70%
- used by Gotit.pub 70%
- used by alphaXiv 70%
- used by Reinforcement Learning with Verifiable Rewards 70%
- competes with Reinforcement Learning with Verifiable Rewards 70%
- used by CatalyzeX 70%
- used by ALFWorld 70%
- 2026-06-16 research_milestone A research paper details the application of Group Relative Policy Optimization to enhance LLM event forecasting. 来源
17 天有情绪数据
-
DeepSeek的GRPO算法在更新的LLM训练流程中演进
DeepSeek的V4技术报告表明,群组相对策略优化(GRPO)算法继续用于训练领域特定的模型。然而,整体的训练后流程已经演进,GRPO现在应用于监督微调之后,以及在将能力整合到统一模型中的策略内蒸馏阶段之前。这与早期将GRPO纳入混合强化学习阶段的V3.2方法形成对比。
-
新的基准和模型增强了第一人称视频分析
研究人员开发了改进第一人称视频分析的新方法,专注于细粒度细节和时间准确性。EgoCaptioner 是一个新系统,将第一人称视频的概览与精确计时步骤相结合,产生了超过 50,000 个训练示例,并在多个基准上优于现有模型。此外,还引入了 EgoPass-Bench 来评估多模态基础模型识别可能影响佩戴者通行的物体(objects that might affect the wearer's passage)的能力,揭示了当前模型在运动…
-
新方法 PrismRestore 和 ExplicitIR 推动了代理式图像恢复的进步
两篇新研究论文 PrismRestore 和 ExplicitIR 提出了代理式图像恢复的新方法。PrismRestore 提出了一种源自单个冻结模型的紧凑工具箱,使用任务先验搜索来分组通道并学习组合策略。ExplicitIR 侧重于将恢复策略表示为显式的每像素场以实现空间适应,从而无需任务标签即可进行精确的局部调制。这两种方法都旨在通过比现有基线更有效、更高效地处理混合退化来改进一体化图像恢复。
-
AI代理通过新的验证系统学习编辑建筑模型
研究人员开发了IfcGym,一个用于训练语言模型编辑行业基础类(IFC)建筑模型的新环境。该系统使用四个不同的检查器来验证编辑的有效性、意图、依赖性以及是否保留了不相关的元素,最终目标是严格成功。然后,IfcEdit框架使用监督微调和Group Relative Policy Optimization将这些经过验证的训练过程提炼到一个Qwen3.5-9B模型中,在各种基准测试中显著提高了编辑准确性。
-
新的GRPO方法通过子群偏移改进AI模型基线
研究人员引入了一种名为组相对策略优化(GRPO)的新颖方法,通过基于子群偏移调整基线来改进强化学习。该技术考虑了训练提示中的异质性,其中滚动可能分化为具有不同奖励分布的独立子群。提出的“子群偏移”调整基线,使其与滚动在其子群中的位置对齐或与子群的整体质量形成对比。在Qwen3-8B-Base和Olmo3-7B-Base模型在数学基准上的实验表明,多样本覆盖率持续但适度地提高,其中“对比”方向被证明更有效。
-
大语言模型赋能的智能体优化锂离子电池快充
研究人员开发了一种由大语言模型(LLM)驱动的新型智能体,用于优化锂离子电池的快充过程。该智能体能够解读电池状态、生成充电动作,并持续调整策略以平衡充电速度、电池寿命和安全性。该系统使用PyBaMM在大型模拟语料库上进行了训练,并采用了监督微调和策略优化两阶段方法,与传统方法相比,显示出更长的循环寿命。
-
新的Pyrite基准和LLM代理推动蛋白质-配体结合模式排序研究
研究人员开发了Pyrite,这是一个用于评估药物发现中蛋白质-配体结合模式排序的新基准和框架。该基准包含1,500个结合模式对,框架包含两个基于LLM的代理:PyriteReasoner用于直接文本推理,PyriteFeaturizer用于生成代码以构建逻辑回归的特征。这些代理的准确率高达74%,超过了人类专家的表现,其中LLM引导的特征发现被证明特别有效。Group Relative Policy Optimization (GRP…
-
新的Pyrite基准测试挑战LLM代理在蛋白质-配体结合姿态排序任务中的表现
研究人员开发了Pyrite,这是一个用于评估药物发现中蛋白质-配体结合姿态排序代理的新基准。该基准包含1500个结合姿态对,专家化学家使用可视化工具和基于物理的评分,其表现接近随机水平,表明了任务的难度。为了解决这个问题,研究人员创建了两个基于LLM的代理:PyriteReasoner和PyriteFeaturizer。PyriteFeaturizer通过生成特征构建代码,达到了74%的准确率,超越了专家水平。研究表明,LLM引导的特…
-
新的强化学习方法提高了AI人脸防伪的泛化能力
研究人员开发了一种名为“基于接地感知的裁判奖励强化学习”(GA-JRRL)的新型强化学习方法,以提高多模态大语言模型(MLLMs)在人脸防伪(FAS)方面的域外泛化能力。传统方法在验证FAS模型的推理过程方面存在困难,仅依赖于稀疏的判断信号。GA-JRRL通过使用视觉-语言裁判模型,根据证据锚定、逻辑连贯性和领域知识对推理链进行评分,有效地将图像本身转化为验证信号,从而解决了这一问题。该方法在两个域外基准测试中降低了平均分类错误率(A…
-
On-Policy Distillation 相较于 GRPO 显示出计算效率的提升
一篇新的研究论文探讨了与Group Relative Policy Optimization (GRPO) 相比,On-Policy Distillation (OPD) 在训练大型语言模型时的计算效率。虽然在使用外部教师时,GRPO在每训练FLOPs的准确率方面通常优于OPD,但OPD在自行训练检查点时表现出显著的效率提升,需要更少的FLOPs即可达到可比的准确率。研究还强调,多教师OPD可以将专门的GRPO模型整合到一个学生模型中…
-
新的C-GRPO方法将语言模型训练效率提高了高达70%
研究人员推出了一种名为C-GRPO的新型语言模型优化方法,可提高训练效率。与使用固定组大小的标准GRPO不同,C-GRPO根据任务难度动态调整其方法,减少在简单提示上浪费的计算量,并增加在更难提示上的探索。该方法结合了校准的保形阈值和各种评分机制,以确保有限样本覆盖率,并将训练回滚减少高达70%,同时在数学、科学和代码生成基准测试中保持准确性。
-
新的 CoCo 框架融合 LLM 和 TSFM 以改进时间序列预测
研究人员开发了一种名为上下文作为协变量 (CoCo) 的新颖预测框架,该框架将大型语言模型 (LLM) 与时间序列基础模型 (TSFM) 相结合。该方法通过让 LLM 将文本见解提炼成数值协变量来指导 TSFM,从而解决了 LLM 在数值精度和 TSFM 在文本推理方面的局限性。该框架在一个使用 LLM 生成的大规模合成多模态数据集上进行了训练,以注释时间序列数据。实验表明,当使用 Qwen3-4B-Instruct-2507 作为 …
-
PPO vs DPO vs GRPO:为语言模型选择正确的强化学习方法
在训练语言模型时,Proximal Policy Optimization (PPO)、Direct Preference Optimization (DPO) 和 Group Relative Policy Optimization (GRPO) 之间的选择取决于可用的训练信号。DPO 适用于偏好对,GRPO 适用于答案评分,PPO 适用于学习到的奖励模型。GRPO 和 DPO 比 PPO 更节省内存,PPO 由于需要单独的奖励和价…
-
TurnWise 框架通过回合级信用分配改进流媒体视频强化学习
研究人员推出了一种名为 TurnWise 的新颖框架,旨在通过改进强化学习模型对其决策的信用分配方式来增强流媒体视频理解。与之前在所有回合中使用单一、轨迹级优势的方法不同,TurnWise 在回合级别进行操作。这种方法旨在通过将学习信号与个体决策分开,来防止在成功后出现冗余响应,并鼓励在失败后进行更具信息量的跟进。该框架在不需要额外回滚或学习批评者的情况下改进了策略学习,在流媒体视频任务上表现优于现有的强化学习技术。
-
新的EmoReward系统增强了AI生成视频中的情感表达
研究人员开发了EmoReward,一种新颖的自演化训练机制,旨在提高生成视频中的情感表达。该系统通过在训练过程中从奖励轨迹中提取证据可靠性来适应性地校准奖励权重。EmoReward规划来自情感提示的地面引导线索,使用异构信号基元对生成的视频进行评分,并使用反射性奖励门控来校准贡献。在HunyuanVideo 1.5、SD 3.5和FLUX上的实验证明了EmoReward在各种强化学习算法上的有效性,以及它对视觉生成任务支持自适应奖励校准的能力。
-
新的奖励机制鼓励AI依赖推理,但准确性出现权衡
研究人员开发了四种新的奖励机制,以鼓励语言模型更多地依赖其生成的推理过程。这些方法,包括梯度敏感性和置信度差距,在指令微调模型上使用GSM8K和StrategyQA等基准进行了测试。虽然一些配置改进了模型对推理编辑的依赖性,但对整体准确性和鲁棒性的影响各不相同,某些设置导致了答案复制。
-
新AI学习方法可潜意识传递特质
研究人员展示了一种名为潜意识强化学习的新颖方法,模型可以在没有明确语义线索的情况下从裁判那里习得特质。该过程涉及学生模型从自身的输出来学习裁判的评分,这会影响学生模型对特定属性的偏好,例如偏爱某种动物。研究发现,这种特质的传递取决于裁判评分是否准确反映了期望的特质,并且该过程可以分解为四个不同的阶段。研究人员认为,这一原理可以应用于AI安全领域,可能将不良倾向传递给AI系统,并提供一种预测和减轻此类风险的方法。
-
新的RTL-Interact框架训练LLM与EDA工具交互
研究人员开发了RTL-Interact,一个新颖的训练后框架,旨在增强大型语言模型在寄存器传输级(RTL)设计中的能力。该框架使单个模型能够生成RTL、创建特定的电子设计自动化(EDA)检查,并根据工具反馈优化设计。该方法结合了多任务演示和分阶段监督,并引入了用于多任务强化学习的模式感知策略优化(PAPO),该方法使用正确性门控奖励和任务分组来提高效率和准确性。
-
新的CoFiBreak方法提高了LLM红队测试的多样性和有效性
研究人员开发了一种名为CoFiBreak的新方法,以提高大型语言模型自动化红队测试的多样性。该技术采用粗粒度到细粒度的多样性奖励系统,鼓励更广泛的攻击策略和提示变体,同时不牺牲有效性或增加推理成本。与现有基线相比,CoFiBreak已证明能够发现明显更多不同的成功攻击策略,并且这些攻击在对抗未见的尖端LLM(包括Claude Opus-4.6)方面显示出有效性。
-
新框架 P4IR 提升 LLM 在自动化代码合规性方面的准确性
研究人员开发了 P4IR,一个新颖的两阶段框架,旨在提高大型语言模型 (LLM) 在生成计算机可处理的建筑法规方面的准确性。第一阶段采用监督微调 (SFT) 为 LLM 注入领域特定知识。第二阶段利用群体相对策略优化 (GRPO) 来优化 LLM 的输出,特别是改进高级代码骨架等中间表示。这种组合方法显著减少了错误,在零样本设置下表现优于领先的 LLM,并降低了误报率。