pass@k
PulseAugur coverage of pass@k — every cluster mentioning pass@k across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
新的Seq@K指标评估语言模型在迭代反馈中的表现
引入了一种名为Seq@K的新评估协议，以更好地评估语言模型从顺序反馈中学习的能力。与传统的Pass@1或Pass@K等指标不同，Seq@K衡量模型在给定尝试次数内解决问题的成功率，并在每次失败后纳入反馈。这种方法揭示了不同的模型性能格局，突出了排名变化以及更有效配置的可能性。对Seq@K下模型轨迹的分析还提供了对其迭代改进行为以及反馈如何影响其响应的见解，强调了在代理系统中仔细设计反馈循环的必要性。
-
RLVR 不提供免费午餐：研究发现 pass@1 的提升会带来 pass@k 的成本 · 跟踪 3 个来源
一篇新的理论论文认为，具有可验证奖励的强化学习（RLVR）并不能从根本上提高语言模型的推理能力。相反，它表明在第一次尝试解决问题（pass@1）时获得的任何提升，都将以在需要多次尝试才能解决的问题（pass@k）上的性能下降为代价。该研究建立了一个数学定理，表明在策略专业化下，这种权衡是 RLVR 的固有属性，这意味着一个指标的改进必然会损害另一个指标。这一发现表明，RLVR 主要是在固定的前沿优化性能，而不是扩展它，任何感知到的收益…
-
Claude Code 评估指标详细介绍 AI Agent 的一致性
本文详细介绍了评估 AI Agent 的三个关键指标，特别关注 Claude Code。这些指标包括 pass@k，用于检查 Agent 在设定尝试次数内能否解决任务；pass^k，衡量多次运行的成功率以确保一致性；以及 graded-score drift，用于监控在输入不变的情况下质量分数随时间下降的情况。作者建议根据用户需求采用不同的指标实现方法，从初学者的简单 bash 循环到更复杂的 Promptfoo 等框架，适用于复杂用例。
-
新论文详细介绍了大型模型训练阶段的综合框架
arXiv上的一篇新论文提供了一个全面的框架，用于理解和优化大型模型训练的整个生命周期。它提出了一个涵盖数据、目标函数、优化策略、系统约束、评估和治理的六维分析框架。该研究系统地回顾了2017年至2026年的395篇核心参考文献，识别了关键的跨阶段效应，并得出了关于数据质量对扩展定律的影响、训练后对齐方法不断演变的边界以及多模态训练的结构性挑战这三个核心发现。
-
Outcome RL 模型通过完成和可靠性提升性能，而非新知识
一篇题为“Outcome RL 的作用：完成、可靠性，鲜有触及”（What Outcome RL Buys: Finishing, Reliability, Rarely Reach）的新研究论文，由 Yue 等人撰写，探讨了 Outcome Reinforcement Learning (RL) 模型的效果。该研究在固定 token 预算内，比较了 20 个已发布的 RL 模型与其基础模型在物理和数学问题上的表现。研究结果表明，RL…
-
新的剪枝方法优化推理模型的pass@k指标
研究人员开发了一种新的推理模型剪枝程序，可直接优化pass@k指标。该方法平衡了候选解决方案的质量与其多样性，旨在最大化找到至少一个正确答案的概率。在新策略在八个开源推理模型上进行了测试，与现有的基于质量和基于多样性的剪枝技术相比，该新策略表现出更优越的性能，尤其是在选择适量部分解决方案进行进一步生成时。
-
arXiv新论文区分智能体约束优化收益
一篇来自arXiv的新论文探讨了语言模型智能体约束优化中诱导（elicitation）与扩展（expansion）的区别。该研究分析了优化后的约束是否能提高模型在已有能力范围内任务上的表现（诱导），还是能拓宽模型可解决的任务范围（扩展）。研究发现，虽然约束优化可以带来显著收益，但这些优势可能随着更大的尝试预算而减弱，并可能掩盖在更困难任务上的不足，这凸显了进行详细诊断分析的必要性。
-
LLM 研究揭示提示干扰会降低单次运行性能
一篇新的研究论文探讨了大型语言模型中的“提示干扰”现象，即针对 pass@k 指标的优化可能会无意中降低 pass@1 指标的性能。这是因为共享的模型参数连接着不同的提示，导致一些提示的改进会对其他提示产生负面影响。该研究为这种权衡提供了理论解释，表明 pass@k 优化可以通过隐式地重新加权成功率较低的提示，从而将模型的更新方向从 pass@1 转移开。
-
AI模型评估指标pass@k因多样性和能力保留问题受到质疑
一项新的研究论文质疑了pass@k指标在评估AI模型方面的有效性，特别是在训练后微调之后。研究表明，虽然pass@k可能显示出边际改进，但它未能捕捉到输出多样性和能力保留等关键方面。使用Qwen2.5-1.5B-Instruct模型在数学问题上的实验显示，不同的微调方法导致多样性度量出现相反的趋势，但pass@k指标在硬问题覆盖率方面并未显示出明显的赢家或显著改进。该论文认为，pass@k可能具有误导性，尤其是在评估正确答案的多样性时…
-
扩散模型研究解决覆盖率、表格数据和效率问题 · 跟踪 6 个来源
近期研究探索了扩散模型的进展，重点是提高其效率和覆盖率。一篇论文介绍了 'pass@k' 来评估蒸馏扩散模型的分布覆盖率，揭示某些训练目标可能会牺牲广泛覆盖率以换取单次抽样的质量。另一项研究提出了 CDMD，一种用于表格数据的跨数据集扩散模型，该模型在异构数据集上以更少的参数实现了高质量生成。此外，还详细介绍了改进的分布扩散模型 (DDM)，它们减轻了训练开销，并允许进行依赖于时间的超参数调整，从而在图像生成任务上表现出色，且在不同采…
-
新研究强调了人工智能评估方法的局限性
一篇新论文探讨了机器学习中 pass@k 评估的局限性，特别是在外推到超出收集样本数量的范围时。研究表明，条件二项式模型中的固定 n 成功计数只能识别潜在的每任务成功分布的有限范围。这意味着即使有大量任务，外推到 k > n 的 pass@k 值也无法可靠地识别。该研究使用 Brown 等人的数据集，展示了反事实评估如何导致失败率的显著模糊性。
-
新的 DATPO 方法增强了大型推理模型的推理覆盖范围
研究人员开发了一种新的 DATPO 方法，以提高使用可验证奖励强化学习 (RLVR) 训练的大型推理模型的推理能力。DATPO 通过优化训练 rollout 来解决 RLVR 在扩展内在推理覆盖范围 (pass@k) 方面的局限性。该方法结合了自适应难度树搜索和句子熵引导的分叉，以最大化语义多样性并克服局部化问题，在数学推理基准测试中优于现有方法。
-
新方法提高自然语言到逻辑翻译的准确性
研究人员开发了一种名为分层一致性蒸馏的新方法，以提高将自然语言翻译成逻辑公式的准确性。该方法使用前沿 LLM 生成多个逻辑翻译，然后按语义等价性对它们进行聚类。根据翻译的熵水平，该方法采用多数投票、LLM 作为裁判或统一来选择用于微调较小模型的伪标签。实验表明，在 Pass@K 和逻辑等价相似性指标方面都有显著改进，突显了一致性蒸馏在逻辑翻译中的有效性。
-
新的RL方法GAPO在基准测试中提升了Qwen和Llama的性能
研究人员推出了一种名为组自适应裁剪策略优化（GAPO）的新方法，旨在通过可验证的奖励来增强强化学习。GAPO根据推广优势自适应地调整裁剪阈值，确保来自低成功率组的有价值学习信号不会被抑制。该方法源于反向KL信任区域的视角，旨在为具有更强学习信号的推广提供更大的更新空间。在Qwen和Llama模型上进行测试，GAPO在数学推理和编码基准测试中的Pass@1和Pass@k指标上，与传统的固定裁剪方法相比，均显示出了一致的改进。
-
新的RLVR方法提升LLM推理多样性和性能
研究人员开发了一种新方法，可以在保持大型语言模型（LLM）多样性的同时增强其推理能力。该方法称为具有可验证奖励的强化学习（RLVR），使用更小、更弱的语言模型生成部分推理轨迹。这些轨迹充当提示，促使目标LLM探索更广泛的不同推理路径，并防止过度自信。该技术在数学基准测试中显示出持续的改进，尤其是在k值较大时，且无需额外的监督微调或复杂的奖励设计。
-
AI采样温度理论解释预算依赖的优化
研究人员开发了一个理论框架，以解释为什么 AI 模型（如 Codex）的最佳采样温度通常会随着采样预算的增加而升高。这种现象并非 pass@k 指标本身的代数属性。新理论为这种聚合模式提供了充分条件，并识别出一种在预算增长时有利于低成功率任务的机制。该研究还引入了一个双层相图和一个用于边际温度导数的 Beta(2,k) 核表示，从而深入了解不同的操作模式。
-
新研究识别RLVR中的pass@k反转，并提出缓解策略
一篇新的研究论文探讨了在可验证奖励强化学习（RLVR）中出现的“pass@k反转”现象。当RLVR提高模型单样本准确率，但降低其在需要多次尝试（更高k）的任务上的表现时，就会发生这种情况。该论文认为这是由于证据缺失导致的失败，即在RLVR训练过程中，稀有的正确轨迹会丢失。一种名为“逐问题基准锚定”（PBA）的提议方法，旨在通过优化提示并根据基准模型的分布锚定高风险提示来缓解这一问题，并在Omni-MATH-Test等基准测试中取得了改进的结果。
-
新研究解决 AI 代码生成评估与测试问题
两篇新研究论文探讨了 AI 生成代码评估方面的进展。第一篇 TENET 引入了一个使用测试驱动开发的仓库级代码生成框架，在 RepoCod 和 RepoEval 等基准测试中取得了 Claude Sonnet 4 的高 Pass@1 分数。第二篇 ACES 提出了一种评估代码生成评估测试可靠性的新方法，侧重于测试的一致性以及区分正确和错误代码的能力。
-
新研究质疑 LLM 微调在 Dart 代码反编译中的有效性
一篇新研究论文探讨了对大型语言模型进行微调以实现 Dart 预编译 (AOT) 二进制文件的神经反编译的有效性。研究发现，微调并未显著提高 pass@k 性能，在某些情况下甚至导致了性能回退。研究人员还观察到指标发散现象，例如 CodeBLEU 和 compile@k 指标有所改善，而 pass@k 指标却下降了，这表明微调可能更侧重于表面相似性而非功能正确性。该论文引入了 HumanEval-Dart 基准测试，并提倡将 pass@…
-
新的SR-PPO方法通过单次采样改进语言模型的强化学习
研究人员开发了一种名为单次采样近端策略优化（SR-PPO）的新方法，以解决语言模型强化学习中估计token级优势的挑战。该方法使用在每次提示的单次采样上训练的蒙特卡洛Pass@k评论员来改进信用分配并降低计算成本。该方法在HMMT26和AIME24等数学推理基准上显示出稳定的学习和持续的成功率提升。