一篇新研究论文调查了在代码生成的“人类反馈强化学习”（RLHF）中“有漏洞”的奖励套件问题。研究发现，现有的测试套件包含持续的误报，这可能导致模型因生成有缺陷的代码而获得不正确的奖励。通过比较一个使用有漏洞套件训练的GRPO模型与一个加固套件训练的模型，研究人员观察到性能差异很小，这表明套件伪影带来的奖励膨胀并未显著影响能力。研究结果表明，这些误报通常是预先存在的错误模式，而不是模型学习到的利用。 AI
影响 强调了AI代码生成评估中潜在的不准确性，表明需要更强大的奖励系统。
排序理由 学术论文，详细介绍了AI模型训练的新方法和发现。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.11022v1 Announce Type: cross Abstract: The test suites used as RLVR rewards for code have natural false positives: per-task, persistent, asymmetric errors that accept the same wrong programs every time they appear, unlike the symmetric or resampled noise assumed by exi…
The test suites used as RLVR rewards for code have natural false positives: per-task, persistent, asymmetric errors that accept the same wrong programs every time they appear, unlike the symmetric or resampled noise assumed by existing noise-robustness analyses. We run a preregis…