PulseAugur
中
实时 14:16:17
实体 DAPO++

DAPO++

PulseAugur coverage of DAPO++ — every cluster mentioning DAPO++ across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
6
90 天内 33
发布 · 30天
0
90 天内 0
论文 · 30天
6
90 天内 31
层级分布 · 90 天
主题
关系
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/2 页 · 共 34 条
  1. TOOL · CL_368283 ·

    MedExAgent LLM采用POMDP方法解决嘈杂的临床诊断问题

    研究人员开发了MedExAgent,这是一种新颖的大型语言模型(LLM)智能体,旨在应对嘈杂的真实临床环境中诊断的复杂性。与将诊断简化为单轮提问或无噪声场景的先前基准不同,MedExAgent将该过程形式化为部分可观察马尔可夫决策过程(POMDP)。它能够询问患者、订购医学检查和发布诊断,同时还能考虑患者互动和检查结果中的各种噪声类型。该智能体采用两阶段流水线进行训练,包括在合成数据上进行监督微调和强化学习,以优化诊断准确性和成本效益。

  2. TOOL · CL_332980 ·

    新的SCARL方法将语言模型置信度与奖励对齐

    研究人员推出了一种新颖的强化学习技术SCARL,旨在改进语言模型的推理能力。SCARL通过将策略对响应的置信度与其实际奖励对齐,解决了可验证奖励(RLVR)强化学习中的置信度不对齐问题。该方法旨在确保模型高度自信的响应也获得更高的奖励,反之亦然。实验表明,SCARL在Pass@32等基准测试中提高了性能,并在各种估计器和模型骨干上增强了覆盖率和每抽样准确率,同时还保持了策略熵。

  3. TOOL · CL_300851 ·

    新方法通过减轻分布锐化来改进AI数学问题解决能力

    一篇新研究论文介绍了分布对齐提示合成(DAHS)和反向提示退火(BHA)技术,以改进在具有可验证奖励的强化学习(RLVR)中解决复杂数学问题的能力。这些方法旨在减轻分布锐化现象,该现象会导致模型在简单问题上的准确性提高,但会牺牲在更难问题上的覆盖率。DAHS创建与学生响应相匹配的教师提示,而BHA则随着模型性能的提高逐渐减少提示暴露,并使用dropout在训练过程中保持无提示的rollout。这些技术在Qwen3模型的AIME基准测试…

  4. RESEARCH · CL_294391 ·

    新的强化学习方法提升AI效率和性能

    研究人员正在开发先进的强化学习技术,以提高复杂AI任务的效率和性能。GDEPO通过动态采样和优势估计来优化样本效率并减少数据浪费,从而增强了自动定理证明。同时,其他方法如Provable Transformer Context Compression和MeanFlow2Better分别侧重于降低Transformer的内存成本和提高策略表达能力,以及离线强化学习。Flow Policy Gradients和MIPS旨在增强机器人控制并…

  5. TOOL · CL_286884 ·

    新的ExpDis框架通过解耦探索与优化来增强语言模型训练

    研究人员开发了一个名为探索-蒸馏(ExpDis)的新框架,以改进使用具有可验证奖励的强化学习(RLVR)训练语言模型。该方法将新颖想法的探索与优化过程解耦,从而允许更积极的探索而不损害模型的整体质量。ExpDis使用新颖性奖励来训练探索者策略,过滤其输出的正确性,然后将这些知识蒸馏到一个单独的学生策略中。与DAPO++等现有方法相比,这种迭代过程在多个数学推理基准测试中表现出优越的性能,表明ExpDis能够生成更多样化且正确的解决方案。

  6. RESEARCH · CL_283782 ·

    LLM强化学习技术提升Qwen3.8-27B分数,但“优势下限”阻碍学习

    研究人员探索了先进的强化学习技术,特别关注大型语言模型的多奖励优化。在他们对Qwen3.8-27B的最新实验中,他们发现结合CISPO和REPO-R等方法可以显著提高在未见过任务上的性能,将分数从-0.47提升到+1.80。然而,他们也发现了一个关键问题,即旨在防止在更严峻环境中学习退化的“优势下限”机制,无意中丢弃了96%的学习信号,从而停止了进展。

  7. RESEARCH · CL_283797 ·

    Qwen3 14B 模型实验比较强化学习技术 · 跟踪 2 个来源

    对 Qwen3 14B 模型进行了实验,以评估各种强化学习技术,包括 GRPO、DAPO++、CISPO、Adapoides 和 REPO-RECK。该研究侧重于比较这些方法是否包含“思考”组件,并展示了完整的留存结果、奖励曲线和资源使用数据。研究还涉及了网络抓取和多账户管理等高风险自动化任务。

  8. TOOL · CL_254415 ·

    VideoScout 代理学习自适应节奏以理解长视频

    研究人员推出 VideoScout,这是一种采用顺序证据获取 (SEA) 范式来理解长视频的代理。该方法使代理能够调整其观看节奏、保留关键证据、重新访问不确定的片段,并有效地确定何时回答。VideoScout-66K 是一个包含超过 66,000 个探索回合的数据集,用于通过涉及监督微调和具有复合奖励的轨迹级强化学习的两阶段流程来训练代理。

  9. TOOL · CL_245126 ·

    ThinkPrior 方法优化 RLVR 提示选择,减少无效 rollout

    研究人员开发了 ThinkPrior,一种用于在可验证奖励强化学习 (RLVR) 中优化提示选择的新方法。该方法旨在通过在首次训练 rollout 之前创建难度先验来减少计算资源的浪费,这与需要初始 rollout 来估计难度的传统方法不同。ThinkPrior 利用外部锚点传递来建立此先验,然后根据训练结果进行更新。在 Qwen2.5-Math-7B 模型上的实验表明,ThinkPrior 在不影响最终准确性的情况下,显著减少了早期…

  10. COMMENTARY · CL_230524 ·

    LLM 微调方法:SFT、LoRA、QLoRA、RFT 和蒸馏法详解

    本文概述了微调大型语言模型的各种方法,重点关注实际应用和工具选择。监督微调(SFT)被介绍为起点,需要有标签的输入-输出对。LoRA 和 QLoRA 被讨论为高效的替代方案,它们训练适配器权重而不是整个模型,其中 Unsloth 被指出可以加速这些过程。强化微调(RFT),特别是使用 GRPO 及其变体(如 DAPO++ 和 Dr.GRPO),推荐用于输出质量的判断比演示更容易的任务,例如代理行为。蒸馏法也被涵盖,作为一种将知识从大型…

  11. TOOL · CL_226805 ·

    ProRetrieval系统合成混合搜索程序,性能超越GPT-5.5和Claude Opus 4.7

    研究人员开发了ProRetrieval,一个新颖的系统,通过合成可执行程序来编排混合搜索查询。该系统结合了用于结构化数据的SQL运算符和用于文本和图像的向量检索,并使用SQL作为逻辑代数来融合结果。在评估中,使用Qwen3-4B(带有GRPO和DAPO)的ProRetrieval模型在新派生的亚马逊产品和Enron电子邮件基准测试中,性能优于GPT-5.5和Claude Opus 4.7。

  12. TOOL · CL_222850 ·

    ProRetrieval系统合成混合搜索程序,性能超越GPT-5.5和Claude Opus 4.7

    研究人员开发了ProRetrieval,一个新颖的系统,通过合成可执行程序来编排混合搜索查询。该系统将结构化查询运算符与向量检索原语相结合,实现了文本和图像搜索的复杂逻辑组合。ProRetrieval使用Qwen3-4B配合GRPO和DAPO进行训练,并在源自亚马逊产品和Enron邮件的新基准测试中表现出色,性能超越了GPT-5.5和Claude Opus 4.7等模型。

  13. TOOL · CL_198069 ·

    新 GCPO 方法增强 LLM 训练稳定性和性能

    研究人员推出了一种名为 GCPO(Geometrically Constrained Policy Optimization,几何约束策略优化)的新方法,旨在通过在线滚动方法改进大型语言模型(LLM)在训练后阶段的稳定性和性能。该技术通过将策略更新约束在特定的子空间内,防止性能下降的偏差,从而解决了训练不稳定性以及能力退化等问题。在 Qwen3-8B 和 GLM4-9B 模型上的实验表明,GCPO 的表现优于 GRPO 和 DAPO …

  14. TOOL · CL_185475 ·

    TriCLE系统使用三模态推理进行基于边缘的飞机聚类

    研究人员开发了TriCLE,一个新颖的三模态视觉-语言系统,专为边缘设备上的细粒度飞机聚类而设计。该系统从单个RGB图像生成伪热成像和伪LiDAR视图,并使用Qwen3-VL骨干网络将其与任务指令融合。TriCLE与专家飞机分类法对齐,使其能够根据与工程相关的相似性对飞机进行分组,而不仅仅是视觉外观。该模型经过4位量化和优化后,符合8GB的部署目标,并能高效处理数据,证明了其在基于边缘的航空观测中的实用性。

  15. TOOL · CL_183203 ·

    CARE-X VLM 通过集成诊断和测量工具增强放射学报告

    研究人员开发了 CARE-X,这是一种新颖的视觉语言模型 (VLM),旨在提高放射学报告的临床实用性。CARE-X 将辅助判别和定位头与其生成主干集成,增强了诊断预测和空间准确性。该模型还采用了解耦的 Clip 和动态采样策略优化 (DAPO) 方法,使用特定任务的奖励信号来优化报告生成和视觉问答。此外,CARE-X 集成了 Qwen3-VL-4B-Instruct 模型的工具调用能力,以执行精确的解剖测量,其性能明显优于仅感知基线。

  16. TOOL · CL_178755 ·

    统一的 RLVR 算法 GRPO、Dr. GRPO 和 DAPO 详解

    伊利诺伊大学厄巴纳-香槟分校 Bay 和 Yearick 的一篇新论文揭示,GRPO、Dr. GRPO 和 DAPO 在单一算法下得到统一,仅在处理组内奖励标准差(σ)方面有所不同。该论文提供了精确的公式来阐明每种变体何时最有效。GRPO 除以 σ 会放大简单和困难问题的梯度,而 Dr. GRPO 使用 σ 进行自然难度加权。DAPO 通过丢弃 σ 为零的批次来优化计算,这在困难问题中很常见。

  17. TOOL · CL_174099 ·

    新的ReDiPPO框架提升LLM数学推理能力

    研究人员推出了一种名为ReDiPPO的新型框架,旨在增强大型语言模型(LLM)的数学推理能力。该方法解决了数学任务中准确的令牌级信用分配的挑战,这些任务通常具有长推理链和稀疏奖励。ReDiPPO采用参考引导的评论家,利用参考答案进行更精确的值估计,并量化标准和参考引导估计之间的差异,以便在策略优化期间重新加权令牌优势。实验表明,ReDiPPO在数学推理性能上超越了PPO、DAPO和GSPO等现有方法。

  18. TOOL · CL_154356 ·

    TalTech 系统凭借新颖的语音到 SOAP 笔记生成技术赢得 Beyond Transcription 挑战赛

    爱沙尼亚塔林理工大学(TalTech)的研究人员为 Beyond Transcription Challenge(BeTraC)开发了系统,该挑战赛旨在直接从医生-患者对话生成 SOAP 笔记,无需中间转录。他们改编的模型 Voxtral Mini 和 Voxtral Small,利用 LoRA 微调和 DAPO 强化学习,并以 Open Medical Concept F1 指标进行评估。这些系统在挑战赛的轻量级和重量级赛道中均获得…

  19. RESEARCH · CL_145746 ·

    SIVA-RL框架通过将预测与视觉证据联系起来,增强了多模态推理能力

    研究人员推出了一种新颖的SIVA-RL框架,旨在通过确保视觉语言模型将其预测与视觉证据联系起来,来改进多模态强化学习。与依赖干预类型的先前方法不同,SIVA-RL使用样本级、结果条件化的监督来使模型行为与观察到的效果保持一致。这种方法与GRPO和DAPO骨干兼容,在九个多模态推理基准测试中显示出显著的改进,将视觉依赖推理提高了8.79个百分点,整体相对改进高达14.9%。

  20. RESEARCH · CL_133588 ·

    新的UP目标通过平衡探索与稳定性来增强LLM推理能力

    研究人员推出了一种名为“无界正向非对称优化”(Unbounded Positive Asymmetric Optimization, UP)的新型目标函数,旨在改进大型语言模型(LLMs)的强化学习(RL)。UP通过允许正向优势的梯度无限制,从而增强探索,同时保持对负向优势的梯度裁剪,以防止训练不稳定,从而解决了当前RL框架中固有的探索-稳定性困境。这种即插即用的目标函数已在各种RL算法、模型架构和训练模式中展现出提高推理准确性的能力。