PulseAugur
中
实时 14:40:08
实体 ProgramBench

ProgramBench

PulseAugur coverage of ProgramBench — every cluster mentioning ProgramBench across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
14
90 天内 20
发布 · 30天
0
90 天内 0
论文 · 30天
6
90 天内 9
层级分布 · 90 天
主题
关系
情绪 · 30 天

4 天有情绪数据

最近 · 第 1/2 页 · 共 21 条
  1. TOOL · CL_327000 ·

    Spine运行时通过结构化子任务上下文改进AI编码代理

    研究人员开发了Spine,这是一种新的运行时和接口,旨在通过结构化子任务上下文来管理长时程编码任务。与顺序历史记录或递归子代理委托不同,Spine根据子任务的嵌套和完成情况来组织交互,并即时编译上下文。这种方法可以保留未完成子任务的信息,同时用其结果替换已完成的任务,从而优化上下文的重用。当与Codex和Pi集成时,Spine在SWE-Milestone Score和ProgramBench等编码基准测试中表现出显著的改进,同时还降低了计算成本。

  2. TOOL · CL_323621 ·

    研究发现 AI 代理在第一次压缩后会忘记规则

    一篇新的预印本研究,题为“Benchmarks Are Surprisingly Compaction-Friendly”,揭示了 AI 编码代理在第一次压缩过程后会丢失约三分之一的给定规则。Jeanne Salle 及其同事进行的研究发现,与功能性要求相比,过程指令和范围排除被丢弃的频率大约高出六倍。这种规则侵蚀的发生是因为摘要策略优先考虑代理下一步所需的信息,而忽略了不直接影响即时操作或无法从文本记录中轻松验证的约束条件。

  3. TOOL · CL_322841 ·

    AI初创公司Resolution自动形式化数学以确保安全;Claude Opus 5.5在ProgramBench上表现出色

    AI初创公司Resolution发布了其工作,展示了与统计学习理论相关的数学陈述的自动形式化,特别是奇点消解。这项成就涉及大量的AI代币花费和用Lean编写的代码行,被视为迈向更严谨的研究自动化科学以及可能更安全的AI发展的一步。与此同时,Claude Opus 5.5在ProgramBench上取得了显著分数,这是一个用于AI系统根据文档重建软件的基准,达到了18.5%已解决任务和70.5%几乎已解决。

  4. TOOL · CL_321765 ·

    上下文压缩影响LLM代理,降低约束和指令

    一篇新的arXiv论文探讨了上下文压缩对大型语言模型代理的影响,特别是在超出其上下文窗口的长期任务中。研究人员发现,虽然压缩策略对具有大型上下文窗口(如1M上下文)的模型任务性能没有显著影响,但像GPT-5.3-Codex这样窗口较小的模型,性能有所下降。研究还表明,压缩方法可能会悄悄丢弃关键的任务约束和指令,代理平均会丢失约三分之一的反作弊规则,并且经常丢弃操作指南而非内容规范。

  5. TOOL · CL_320397 ·

    Microsoft Research 开源 Agensh,支持 1,024 个 AI 智能体

    Microsoft Research 开源了 Agensh,这是一个新的多智能体框架,旨在协调大量 AI 智能体而无需中央协调器。这种去中心化的方法允许单个智能体选择自己的子任务、共享发现并将代码合并到公共存储库中。实验表明,将 Agensh 从 1 个扩展到 1,024 个智能体,在复杂的编码任务上的性能得到了显著提升,随着智能体数量的增加,得分提高,任务完成速度也加快。

  6. TOOL · CL_318905 ·

    Kimi K3.1 Pro 在前端基准测试中领先,Qwen 4 和 Claude Fable 5.5 尚不明朗 · 跟踪 1 个来源

    对 Kimi K3.1 Pro、Qwen 4 和 Claude Fable 5.5 三个大型语言模型的比较显示,Kimi K3.1 Pro 在前端开发任务方面具有早期可用性和有竞争力的定价优势。Moonshot 已发布 Kimi K3.1 Pro,而 Qwen 4 和 Claude Fable 5.5 尚未公开可用,相关信息来自泄露和阶段性公告。基准测试结果喜忧参半,Kimi K3.1 Pro 在某些编码和代理任务中领先,而 Clau…

  7. TOOL · CL_312725 ·

    HarnessPro 提升 AI 代理性能并降低成本

    研究人员开发了 HarnessPro,这是一种通过递归增强性能同时降低执行成本来改进 AI 代理 Harness 的新方法。这种无需标签的方法利用 LLM 生成的测试和专用代理来诊断和规划更新,提供针对不同预算限制定制的“lite”、“medium”和“heavy”Harness 配置。在 SWE-Bench Pro 等基准测试上的实验表明,HarnessPro 使用 GPT-5.5 结合 Codex 等模型,可以在通过率显著提高的同…

  8. SIGNIFICANT · CL_311171 ·

    DeepSeek V4.1 Flash 1017 模型在编码基准测试中表现强劲

    DeepSeek 发布了 V4.1 Flash 1017,这是一个开源模型,拥有 1M 的 token 上下文窗口和 763B 参数。这一迭代在十一个基准测试中显示出显著的改进,尤其是在编码任务中,它在 DeepSWE 上取得了 77.0 分,超过了 Opus 5 和 GPT-5.6 Sol 等模型。该模型在智能体任务和视觉能力方面也表现出色,使其成为复杂逻辑推理和跨文件代码生成的有力竞争者。

  9. SIGNIFICANT · CL_311172 ·

    DeepSeek V4.1 Flash 1017 首次亮相,在编码和代理任务方面取得重大进展

    DeepSeek 于 2026 年 10 月 17 日发布了其开源大型语言模型 DeepSeek V4.1 Flash 1017 的更新版本。此次迭代在各种基准测试中都有显著改进,尤其是在编码和基于代理的任务方面。该模型现在拥有 1M token 的上下文窗口,并根据 MIT 许可证提供,允许商业使用。关键的进步包括在 DeepSWE v1.1 和 Terminal-Bench 4.0 等编码基准测试中性能增强,超越了 Anthrop…

  10. TOOL · CL_310092 ·

    HarnessPro 方法提高了 AI 代理性能并降低了成本

    一种名为 HarnessPro 的新方法已被开发出来,用于递归地改进 AI 代理 Harness,旨在提高任务性能同时降低执行成本。这种无需标签的方法利用 LLM 生成的测试和轨迹诊断来规划和实施更新,根据部署预算提供针对成本、平衡或性能进行优化的专用 Harness。在 Terminal-Bench 2 和 SWE-Bench Pro 等基准测试上的实验表明,使用 GPT-5.5 和 Codex 等模型时,通过率显著提高且成本有所降低。

  11. FRONTIER RELEASE · CL_306488 ·

    DeepSeek 发布 V4.1-Flash-1017,编码性能提升且成本更低 · 跟踪到 1 个来源

    DeepSeek 发布了其 V4.1-Flash 模型的更新版本,名为 DeepSeek V4.1-Flash-1017。这款新的开源模型在 Hugging Face 上以 MIT 许可证提供,声称与前代产品相比,在编码基准测试中有了显著改进,并且每项任务的成本大幅降低。虽然 DeepSeek 报告的性能指标显示其在多项基准测试中优于 Kimi K3 和 GPT-5.6 Sol 等模型,但在一些测试中仍落后于 Claude Opus-…

  12. RESEARCH · CL_298287 ·

    Meta 的 Muse Wonder AI 模型发布,评价不一且存在信任担忧

    Meta Superintelligence Labs 发布了其首批前沿级 AI 模型 Muse Wonder 和 Muse Wonder Full,在多项基准测试中取得了有竞争力的分数,包括在 Artificial Analysis Intelligence Index 中略微落后于 Claude Opus 5.5。尽管在编码和记忆任务等特定领域表现强劲,但这些模型在其他方面显示出弱点,并且在与 Muse AI 代理的集成方面面临严…

  13. SIGNIFICANT · CL_296057 ·

    Meta 的 Muse Wonder AI 在编码基准测试中挑战 Anthropic 的 Opus 5.5

    Meta 推出了 Muse Wonder,一款新的人工智能模型,在长代码任务方面与 Anthropic 的 Claude Opus 5.5 展开竞争。虽然 Meta 的内部基准测试显示 Muse Wonder 在 DeepSWE 和 SWE-Marathon 等领域优于 Opus 5.5,但一个独立指数给予 Opus 5.5 更高的整体智能得分。两款模型的定价结构相似,但 Meta 的官方文档强调,性能可能因配置和提示而异,建议在个人…

  14. SIGNIFICANT · CL_290103 ·

    DeepSeek V4.1 Flash 发布,代理编码成本降低 36 倍

    一款新的大型语言模型 DeepSeek V4.1 Flash 已发布,其特定工作负载成本显著降低,在代理编码任务上比 Anthropic 的 Claude Opus 5 便宜约 36 倍。尽管其成本效益高且在 SWE Bench 等基准测试中表现相当,但在复杂推理和 ProgramBench 评估方面仍有不足。该模型的效率归因于其缩小的 KV 缓存大小,使得长上下文会话更具经济可行性。

  15. RESEARCH · CL_231329 ·

    新框架赋能 LLM 代理自主开发和改进软件

    研究人员推出 Harness-of-Harness (HoH) 框架,旨在通过使基于 LLM 的编码代理能够持续改进软件来增强自主软件开发能力。HoH 将开发过程结构化为迭代的规划-编码-测试循环,平衡修复与能力增长,并将任务分解为小型、可验证的增量。在 GameCraft-Bench、FrontierSWE 和 ProgramBench 等基准测试中,HoH 表现出显著的性能提升,平均比独立 harness 提高了 52.25%。在…

  16. TOOL · CL_199014 ·

    Anthropic 的 Opus 5 在 ProgramBench 上设定新的 SoTA,击败 GPT Sol

    Anthropic 的 Opus 5 模型在 ProgramBench 基准测试中取得了新的最先进性能,成功解决了 200 个任务实例中的 9 个。这比之前的最佳模型 GPT Sol 提高了四倍多。在这一基准上评估 Opus 5 的成本相当高,花费了 10,000 美元。

  17. RESEARCH · CL_171855 ·

    MindForge 管道训练小型 LLM 完成软件工程全生命周期

    研究人员开发了 MindForge,这是一个旨在训练小型语言模型执行全面软件工程任务的自动化管道。该系统将开源命令行程序转换为无源代码的训练环境,仅提供编译后的可执行文件和文档。通过在 GLM-5.2 生成的合成程序轨迹上微调 Qwen3.6-27B 模型,研究人员显著提高了其在 ProgramBench 基准测试上的性能,取得了与大型前沿模型相当的结果。微调后的模型在各种未见过的软件工程任务中也表现出广泛的改进,包括代码生成、错误修…

  18. SIGNIFICANT · CL_166961 ·

    Moonshot AI 发布开源 Kimi K3,用于复杂的编码任务 · 跟踪 2 个来源

    Moonshot AI 发布了 Kimi K3,这是一个拥有 2.8 万亿参数的开源模型,专为长时程编码和代理任务而设计。该模型具有一百万个 token 的上下文窗口和混合专家(Mixture-of-Experts)架构,使其能够处理和理解庞大的代码库。虽然供应商报告的基准测试显示其编码性能具有竞争力,但其真正的价值在于其开源权重,允许团队将其集成到自己的工作流程中,并尝试自定义工具和系统。

  19. TOOL · CL_94988 ·

    Fable 5 基准测试显示性能是 Opus 4.8 的两倍

    一项新的基准测试 ProgramBench 已用于评估 Fable 5,结果表明其性能显著优于 Opus 4.8。基准测试的创建者指出,即使 Fable 5 在某些任务中使用了回退机制至 Opus 4.8,其性能仍是 Opus 4.8 的两倍。一个有趣的观察是,Fable 5 中回退到 Opus 4.8 所消耗的 token 是 Opus 4.8 单独执行类似任务的两倍。

  20. RESEARCH · CL_23515 ·

    ProgramBench 编码基准因不可能的未记录测试而使前沿模型失败

    一个名为 ProgramBench 的新编码基准旨在评估前沿人工智能模型,但因其可能无法解决而受到批评。该基准要求模型根据有限的文档重新实现程序并通过一套单元测试,其中一些可能涵盖未记录或晦涩的功能。这种设计可能导致模型因发现隐藏行为或后门而失败,而不是因为缺乏编码智能,这促使人们建议进行改进,例如下游测试和加权评分。