Gabe Orlanski

Opus 5.5 and GPT-6 SOL 在编码基准测试中显示收益递减

对 SlopCodeBench 基准测试的最新分析表明，提高 Opus 5.5 和 GPT-6 SOL 等模型的努力程度可能不会显著提高严格通过率，甚至可能导致某些模型性能下降。该基准测试在长周期迭代任务上测试编码代理，发现虽然模型通常能成功实现核心功能，但在扩展时却难以维持先前的功能。分析还强调，随着努力程度设置的提高，每次成功通过的成本会大幅增加，其中 GPT-6 Astra 是一个值得注意的例外，它在更高成本下显示出改进。