Pass@1
PulseAugur coverage of Pass@1 — every cluster mentioning Pass@1 across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新的Seq@K指标评估语言模型在迭代反馈中的表现
引入了一种名为Seq@K的新评估协议，以更好地评估语言模型从顺序反馈中学习的能力。与传统的Pass@1或Pass@K等指标不同，Seq@K衡量模型在给定尝试次数内解决问题的成功率，并在每次失败后纳入反馈。这种方法揭示了不同的模型性能格局，突出了排名变化以及更有效配置的可能性。对Seq@K下模型轨迹的分析还提供了对其迭代改进行为以及反馈如何影响其响应的见解，强调了在代理系统中仔细设计反馈循环的必要性。
-
RLVR 不提供免费午餐：研究发现 pass@1 的提升会带来 pass@k 的成本 · 跟踪 3 个来源
一篇新的理论论文认为，具有可验证奖励的强化学习（RLVR）并不能从根本上提高语言模型的推理能力。相反，它表明在第一次尝试解决问题（pass@1）时获得的任何提升，都将以在需要多次尝试才能解决的问题（pass@k）上的性能下降为代价。该研究建立了一个数学定理，表明在策略专业化下，这种权衡是 RLVR 的固有属性，这意味着一个指标的改进必然会损害另一个指标。这一发现表明，RLVR 主要是在固定的前沿优化性能，而不是扩展它，任何感知到的收益…
-
新论文详细介绍了大型模型训练阶段的综合框架
arXiv上的一篇新论文提供了一个全面的框架，用于理解和优化大型模型训练的整个生命周期。它提出了一个涵盖数据、目标函数、优化策略、系统约束、评估和治理的六维分析框架。该研究系统地回顾了2017年至2026年的395篇核心参考文献，识别了关键的跨阶段效应，并得出了关于数据质量对扩展定律的影响、训练后对齐方法不断演变的边界以及多模态训练的结构性挑战这三个核心发现。
-
Outcome RL 模型通过完成和可靠性提升性能，而非新知识
一篇题为“Outcome RL 的作用：完成、可靠性，鲜有触及”（What Outcome RL Buys: Finishing, Reliability, Rarely Reach）的新研究论文，由 Yue 等人撰写，探讨了 Outcome Reinforcement Learning (RL) 模型的效果。该研究在固定 token 预算内，比较了 20 个已发布的 RL 模型与其基础模型在物理和数学问题上的表现。研究结果表明，RL…
-
arXiv新论文区分智能体约束优化收益
一篇来自arXiv的新论文探讨了语言模型智能体约束优化中诱导（elicitation）与扩展（expansion）的区别。该研究分析了优化后的约束是否能提高模型在已有能力范围内任务上的表现（诱导），还是能拓宽模型可解决的任务范围（扩展）。研究发现，虽然约束优化可以带来显著收益，但这些优势可能随着更大的尝试预算而减弱，并可能掩盖在更困难任务上的不足，这凸显了进行详细诊断分析的必要性。
-
LLM 研究揭示提示干扰会降低单次运行性能
一篇新的研究论文探讨了大型语言模型中的“提示干扰”现象，即针对 pass@k 指标的优化可能会无意中降低 pass@1 指标的性能。这是因为共享的模型参数连接着不同的提示，导致一些提示的改进会对其他提示产生负面影响。该研究为这种权衡提供了理论解释，表明 pass@k 优化可以通过隐式地重新加权成功率较低的提示，从而将模型的更新方向从 pass@1 转移开。
-
AI研究揭示观察保真度、意识和推理可靠性方面的反直觉发现
新研究表明，提高观察保真度会适得其反地损害具身大型语言模型（LLM）的解决问题能力，一项研究发现原始RGB输入比完美的地面真实数据更有效。另一篇论文探讨了一个评估AI意识的框架，表明意识的指标与通用智能所需的特征重叠。此外，关于LLM推理的研究表明，虽然强化学习可以提高性能，但它也可能导致“长度分配不当”，即模型在简单任务上花费过多时间，而在复杂任务上花费时间不足，并且启用“推理模式”有时会使模型更容易出错。
-
研究：LLM生成的注释如果包含正确解决方案，则能提升代码生成效果
一篇新发表在arXiv上的研究调查了大型语言模型（LLM）生成的自然语言注释如何影响代码生成性能。研究人员发现，源自成功代码解决方案的注释能显著提高接收模型生成正确代码的能力，平均将pass@1率提高了17.2%。相反，描述失败解决方案或不相关问题的注释则没有益处，甚至会降低性能。研究结果表明，注释的效用在于其传达正确解决方案内容的能力，而不仅仅是其存在或描述意图。
-
新的LLM框架整合推理和自我批评
研究人员开发了一个名为Stepwise Think-Critique (STC)的新框架，使单一的大型语言模型能够执行交错的推理和自我批评。与现有模型将这些过程分开不同，STC将批评整合到每个推理步骤中，通过强化学习优化正确性和批评可靠性。与基础模型相比，该方法在数学推理基准上的Pass@1提高了7.2%，并达到了67.4%的步骤级批评F1分数。
-
DART框架使用DAG和区块链实现可信的LLM多智能体协作
研究人员推出DART，一个旨在增强大型语言模型（LLM）多智能体系统中信任和问责制的新框架。DART利用有向无环图（DAG）结构进行工作流编排，并将其与区块链赋能的去中心化治理相结合。通过实施声誉感知任务分配和动态行为更新，该方法旨在缓解开放环境中不合作或恶意智能体带来的问题。评估表明，DART显著提高了任务成功率，并能有效隔离和遏制恶意智能体行为，其表现优于传统的中心化系统。
-
新的RL方法GAPO在基准测试中提升了Qwen和Llama的性能
研究人员推出了一种名为组自适应裁剪策略优化（GAPO）的新方法，旨在通过可验证的奖励来增强强化学习。GAPO根据推广优势自适应地调整裁剪阈值，确保来自低成功率组的有价值学习信号不会被抑制。该方法源于反向KL信任区域的视角，旨在为具有更强学习信号的推广提供更大的更新空间。在Qwen和Llama模型上进行测试，GAPO在数学推理和编码基准测试中的Pass@1和Pass@k指标上，与传统的固定裁剪方法相比，均显示出了一致的改进。
-
在没有验证的情况下，自我纠错方法未能改善大型语言模型代码生成
arXiv上的一项新研究调查了大型语言模型（LLMs）在代码生成中自我纠错方法的有效性。研究人员发现，虽然一些不确定性估计技术与正确性之间存在微弱的相关性，但它们并不能可靠地提高在HumanEval和BigCodeBench等基准测试上的性能。只有基于验证的自我纠错（涉及代码执行）显示出准确性的持续提高，这表明仅凭不确定性信号不足以提高代码生成的质量。
-
新的SR-PPO方法通过单次采样改进语言模型的强化学习
研究人员开发了一种名为单次采样近端策略优化（SR-PPO）的新方法，以解决语言模型强化学习中估计token级优势的挑战。该方法使用在每次提示的单次采样上训练的蒙特卡洛Pass@k评论员来改进信用分配并降低计算成本。该方法在HMMT26和AIME24等数学推理基准上显示出稳定的学习和持续的成功率提升。
-
新的局部分支路由框架增强语言模型推理能力
研究人员开发了一个名为局部分支路由（LBR）的新框架，以在测试时扩展期间提高语言模型的推理能力。LBR 在 token 级别运行，扩展局部前瞻树并使用轻量级路由器选择最有希望的分支。该方法通过利用候选未来的隐藏状态，实现了更高效且可训练的扩展，在数学推理基准测试中通过提高 Pass@1 和 Pass@32 分数而优于现有方法。
-
新研究将RLVR多样性崩溃视为过拟合
一篇新发表在arXiv上的研究论文探讨了“多样性崩溃”现象，这在强化学习与可验证奖励（RLVR）中出现，RLVR是一种用于增强大型语言模型推理的技术。该论文将此问题视为一种过拟合，即模型过度关注已解决的问题，导致高k Pass@k指标下降。研究人员提出了一种名为贝叶斯边界门控（BBG）的新方法来缓解这一问题，通过将优化从过拟合问题中引导开，并在推理基准测试中显示出改进。