PulseAugur
实时 17:35:22
English(EN) Opus 5 setting new SoTA on ProgramBench, solves 9/200 instances (>4x than GPT Sol)

Anthropic 的 Opus 5 在 ProgramBench 上设定新的 SoTA,击败 GPT Sol

AnthropicOpus 5 模型在 ProgramBench 基准测试中取得了新的最先进性能,成功解决了 200 个任务实例中的 9 个。这比之前的最佳模型 GPT Sol 提高了四倍多。在这一基准上评估 Opus 5 的成本相当高,花费了 10,000 美元。 AI

影响 为代理程序合成设定了新的基准,可能影响未来代码生成模型的发展。

排序理由 特定基准上的研究里程碑。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/Anthropic 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Anthropic 的 Opus 5 在 ProgramBench 上设定新的 SoTA,击败 GPT Sol

报道来源 [1]

  1. r/Anthropic TIER_1 English(EN) · /u/klieret ·

    Opus 5 setting new SoTA on ProgramBench, solves 9/200 instances (>4x than GPT Sol)

    <table> <tr><td> <a href="https://www.reddit.com/r/Anthropic/comments/1vnfhla/opus_5_setting_new_sota_on_programbench_solves/"> <img alt="Opus 5 setting new SoTA on ProgramBench, solves 9/200 instances (&gt;4x than GPT Sol)" src="https://preview.redd.it/lccofwq346jh1.png?width=14…