Anthropic 的 Opus 5 模型在 ProgramBench 基准测试中取得了新的最先进性能,成功解决了 200 个任务实例中的 9 个。这比之前的最佳模型 GPT Sol 提高了四倍多。在这一基准上评估 Opus 5 的成本相当高,花费了 10,000 美元。 AI
影响 为代理程序合成设定了新的基准,可能影响未来代码生成模型的发展。
排序理由 特定基准上的研究里程碑。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →