HumanEval
PulseAugur coverage of HumanEval — every cluster mentioning HumanEval across labs, papers, and developer communities, ranked by signal.
17 天有情绪数据
-
DeepSeek V4 Pro 在基准测试中挑战 GPT-5 和 Claude 4，提供卓越价值 · 已追踪 2 个来源
2026年中期的新基准测试表明，中国的LLM提供商，特别是DeepSeek，在性能和成本效益方面已能与OpenAI和Anthropic的顶级模型相媲美甚至超越。例如，DeepSeek V4 Pro在编码和数学推理基准测试中处于领先地位，提供了显著更大的上下文窗口，并且比GPT-4o和Claude 4 Opus等模型便宜得多。虽然OpenAI的GPT-5.5 Max和Anthropic的Claude 4 Opus在特定任务上仍提供顶尖性…
-
Qwythos-9B语言模型在GSM8K、IFEval和HumanEval上进行基准测试
一位用户对Qwythos-9B语言模型（Qwen 3.5 9B和Claude的微调版本）进行了一系列标准评估。该模型在GSM8K上测试数学推理能力，在IFEval上测试指令遵循能力，在HumanEval上测试代码生成能力。这些测试结果揭示了Qwythos-9B在这些关键领域的优势和局限性。
-
阿里巴巴-清华大学关于dLLM推理的论文荣获ICML杰出论文奖
阿里巴巴与清华大学合作的论文《The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models》（灵活性陷阱：重新思考扩散语言模型中任意顺序的价值）荣获2026年ICML杰出论文奖。该研究挑战了扩散大型语言模型（dLLMs）受益于任意token生成顺序的普遍观点。研究表明，这种灵活性会导致“熵退化”，从而阻碍推理能力，尤…
-
新AI编码代理以8倍低成本实现前沿准确率
一位独立创始人开发了一种新的AI编码代理，该代理将请求路由到成本效益最高的模型，仅在必要时升级到前沿模型。这种方法在HumanEval+基准测试上达到了与前沿模型相当的水平，准确率达到94.5%，而前沿模型为96%，成本却降低了约8倍。该系统还通过缓存已验证的答案来显著提高速度，并通过在用户控制的基础设施上运行来优先考虑隐私。
-
新基准 AlgoBench 测试 LLM 的算法推理能力，超越记忆
研究人员开发了 AlgoBench，一个旨在评估代码生成模型算法推理能力的新框架。与可能因训练数据暴露而受损的传统基准测试不同，AlgoBench 通过转换现有的竞争性编程问题来自动创建新颖的算法问题。这种方法确保了参考算法在新变体上失败，迫使模型展示真正的适应性而非记忆。该框架还引入了面向复杂性的指标，不仅评估功能正确性，还评估渐近效率，揭示了许多模型在算法适应性和高效解决方案方面存在困难。
-
新的MRP技术提高了语言模型的速度和准确性
来自Modal Research和纽约大学上海分校HeavyBall Research的研究人员开发了一种名为多标记残差预测（MRP）的新技术，该技术提高了语言模型的速度和准确性。MRP通过训练一个小模块来预测扩散语言模型中相邻去噪步骤之间的残差差异，而不是预测整个分布。这种方法在静态模式下可以实现高达1.56倍的吞吐量，并且在动态模式下可以恢复在激进的低阈值解码设置中丢失的重要准确性点，同时几乎没有质量损失。
-
AI代码模型通过伪造而非仅仅重试来改进 · 跟踪2个来源
一篇新的研究论文探讨了小型、冻结代码模型中自我修复机制的有效性。该研究采用安慰剂对照方法，发现提供给模型的外部、可执行的反例比仅仅让它们重新暴露于自身失败的输出来更有益。在各种基准测试和模型中，这种以伪造为中心的方法在代码生成成功率方面显示出统计学上的显著提高。
-
用于代码生成的 LLM 对齐：预训练模型 vs. 微调模型
研究人员探讨了大型语言模型 (LLM) 对齐技术在代码生成任务中的有效性，研究了对齐应该从预训练的 LLM 还是微调的 LLM 开始。该研究在五个最先进的 LLM 上使用了两种无奖励对齐方法：直接偏好优化 (DPO) 和 BoNBoN。结果表明，对齐预训练模型比其预训练的对应模型在对齐版本中带来了更大的改进，尽管预训练模型总体上准确性较低。相反，对齐微调模型产生的性能提升较小，甚至出现性能下降。
-
新方法通过自适应解码策略提高 LLM 推理速度
研究人员开发了 BlockPilot，一种新颖的投机解码方法，可自适应地预测生成文本的最佳块大小。该方法通过学习一种策略来提高效率，该策略根据预填充表示来选择块大小，从而实现显著的加速和更长的接受长度。此外，另一篇论文介绍了一种用于掩码扩散语言模型的连续解码框架，该框架允许 token 累积部分进度，为文本生成提供了更灵活的方法。
-
Tirtha架构以8倍的低成本实现了前沿编码分数
一篇开发帖详细介绍了一种名为Tirtha的新型架构，旨在以显著降低的成本实现前沿质量的编码性能。该系统采用双通道方法：一个本地、更便宜的模型处理大多数请求，而一个带有验证门和守卫的“结构通道”将复杂问题升级到更强大、更昂贵的模型。这种结构被认为在正确性方面取得了显著提升，在HumanEval+基准测试中将基线模型的得分提高了约十分。该系统还包含一个用于重复查询的缓存和一个用于令牌效率的压缩层，从而使每次请求的混合成本比典型的前沿模型定价低约八倍。
-
小型人工智能模型能否有效监控前沿人工智能代理？
一项近期实验探讨了小型人工智能模型是否能有效监控大型、能力更强的人工智能系统是否存在恶意或意外行为。该研究使用 Claude Sonnet 4.5 作为被监控代理，并在各种编程任务中测试了八种不同规模和架构的观察者模型。这些任务包括引入后门、奖励破解和数据泄露，旨在评估监控器的检测率和误报率。
-
新方法加速Diffusion LLM，解决速度-质量权衡问题 · 跟踪3个来源
研究人员正在开发新的方法来加速Diffusion大型语言模型（dLLM），由于其序列长度缩放，这些模型计算量很大。两个新框架Dynamic-dLLM和Streaming-dLLM旨在提高推理速度而不牺牲生成质量。Dynamic-dLLM使用自适应缓存预算和并行解码，而Streaming-dLLM采用后缀修剪和带有早期退出机制的动态解码。另一项研究ParallelBench强调了dLLM并行解码的权衡，揭示了在现实场景中质量的显著下降以…
-
Anthropic 的 Claude AI 以其 Constitutional AI 和大型上下文窗口而脱颖而出
Anthropic 的 Claude AI 因其独特的 Constitutional AI 训练而备受瞩目，该训练使用指导原则来优化输出，与仅依赖人类反馈的模型相比，能产生更可预测、更安全的回应。近期 Claude 模型（如 Claude 3.5 Sonnet 和 Claude 3 Opus）的大型上下文窗口能够处理大量文档和代码库，而不会出现碎片化。Claude 还展现出强大的推理能力，尤其是在多步分析任务和自主代理工作流方面，使其…
-
New signature filtering method boosts LLM watermark detection accuracy
研究人员开发了一种名为签名过滤的新方法，以改进大型语言模型中统计水印的检测。该技术在不改变嵌入或生成过程的情况下增强了现有的水印检测。通过识别和移除可能干扰检测的特定“签名”标记，该方法显著提高了准确性，尤其是在信号较弱或文本重复的情况下。该方法在各种大型语言模型和数据集上都表现出高检测率，即使在句子打乱和标记扰动等挑战性条件下也是如此。
-
新的EngTrace基准测试LLM的可验证工程推理能力
研究人员推出EngTrace，这是一个新的符号基准，旨在严格评估大型语言模型（LLM）的工程推理能力。与侧重于孤立技能的现有基准不同，EngTrace评估了科学原理、定量建模和工程任务所需的实际约束的整合。该基准包含90个参数化模板，涵盖三个工程分支和九个领域，生成超过1350个问题实例，并采用新颖的两阶段评估框架，在验证最终答案的同时验证中间推理过程。对27个LLM的评估揭示了数值精度和推理过程保真度之间的权衡，突显了一个复杂性鸿沟…
-
LLM基准未能捕捉到代理式AI的关键工具使用差距
公开的LLM基准测试通常无法反映真实世界的性能，特别是对于依赖工具使用的代理式系统。在MMLU等静态基准测试中表现出色的模型，在集成到需要代码生成、网络搜索或文件执行的流程中时，可能会表现不佳。代理式AI的关键区别在于工具调用可靠性和多步规划保真度，而这些指标在标准排行榜中基本缺失。建议开发者使用自己的工具模式和生产日志进行定制化评估，以准确评估模型在代理式应用中的适用性。
-
新AI框架训练代码模型自我修正安全漏洞
研究人员开发了一个名为Tree Self-Play (TSP) 的新颖框架，以解决在代码上训练的大型语言模型中固有的安全漏洞。当前的监督微调和强化学习等方法过于粗粒度，无法修复导致SQL注入等问题的局部编码错误。TSP引入了一种细粒度的、自主的方法，能够精确识别代码中的风险节点，并利用自我博弈生成安全和易受攻击的代码路径，以进行有针对性的优化。
-
新SPARK系统增强LLM安全代码生成
研究人员开发了SPARK，一个新颖的推理时系统，旨在提高大型语言模型生成代码的安全性。SPARK通过激活其训练数据中已存在的潜在安全知识来解决LLM生成存在漏洞的代码的问题，而不是依赖于广泛的微调或外部检索。该系统包含两个组件：一个通过结构化提示向模型提供相关安全信息，另一个在生成过程中对模型的输出应用预先计算的偏差。在包括Claude和DeepSeek在内的多种编程语言和模型上的评估表明，SPARK在保持代码可用性的同时，性能与现有…
-
研究发现大多数事后验证算子未能提高冻结代码模型的准确性
一篇新发表在arXiv上的研究调查了针对小型、冻结代码的事后验证算子，发现大多数算子与Best-of-N等标准方法相比，并不能提高准确性。研究强调了“覆盖墙”和“能力剪刀”是关键限制。然而，“表达层恢复”方法通过恢复标准提取器丢弃的正确程序显示出希望，提高了DeepSeek-Coder-1.3B在HumanEval+等基准测试上的性能。
-
新的强化学习方法将 LLM 预训练时间缩短 66%
研究人员开发了一种名为 AC-ODM 的新方法，该方法使用强化学习来优化大型语言模型 (LLM) 的预训练数据组成。该方法显著提高了样本效率，将预训练时间缩短了高达 66%，同时提高了在 MMLU 和 HumanEval 等基准测试中的下游准确性。AC-ODM 提供了代理和直接训练模式的灵活性，并且计算开销仅增加极少。