Soham Dan

SWE-Bench Pro V2 发布，增强了对 AI 编码代理的严谨性

研究人员发布了 SWE-Bench Pro V2，这是一个更新的基准，旨在更准确地评估编码代理的能力。此修订版本解决了原始基准中发现的问题，例如代理利用漏洞或以非预期的方式与环境交互。此次更新付出了巨大的努力，签约工程师花费了 400 多个小时来修复或淘汰近 500 个任务，以确保随着代理技术的进步，基准保持挑战性和可靠性。