English(EN) Understanding and Mitigating Spurious Signal Amplification in Test-Time Reinforcement Learning for Math Reasoning

新的DDRL框架减少了数学推理测试时强化学习中的噪声

作者 PulseAugur 编辑部 · [1 个来源] · 2026-04-23 06:32

研究人员发现，用于数学推理的测试时强化学习（TTRL）容易受到模糊伪标签引起的噪声放大。他们观察到，具有中等一致性的响应会产生一个模糊区域，这是奖励噪声的主要来源，而这种噪声会通过群体相对优势估计进一步放大。为了解决这个问题，提出了一种名为“去偏和去噪测试时强化学习”（DDRL）的新框架，该框架使用基于频率的采样来排除模糊样本，并采用去偏优势估计来消除优化偏差。 AI

影响通过缓解推理过程中噪声的放大，引入了一种新方法来提高LLM在数学推理任务中的鲁棒性。

排序理由这是一篇研究论文，详细介绍了一个用于改进数学推理测试时强化学习的新框架。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Research; 这是一篇研究论文，详细介绍了一个用于改进数学推理测试时强化学习的新框架。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, safety; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 187 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Ran He · 2026-04-23 06:32

理解和缓解测试时强化学习在数学推理中的虚假信号放大

Test-time reinforcement learning (TTRL) always adapts models at inference time via pseudo-labeling, leaving it vulnerable to spurious optimization signals from label noise. Through an empirical study, we observe that responses with medium consistency form an ambiguity region and …

本文如何被排名

报道来源 [1]

理解和缓解测试时强化学习在数学推理中的虚假信号放大

相关实体

相关话题