SWE-Duel

FrontierCS 2 基准测试评估大型语言模型代理的计算机科学研发任务能力

一项名为 FrontierCS 2 的新基准测试已被推出，用于评估大型语言模型代理在推动前沿计算机科学研究方面的能力。该基准测试包含 13 个领域中的 48 个开放式任务，代理在一个研究环境中进行测试，并可以提交代码补丁以供评估。表现最佳的代理 Claude Opus 5.5 在 58% 的运行中通过了测试，这表明即使是先进的代理在许多复杂的研发任务中也面临挑战。