一位用户在 SlopCodeBench 基准测试中测试了 Anthropic 的 Opus 5.5 模型。该基准测试评估 AI 在不引入错误的情况下向自身代码添加新功能的能力。测试显示,Opus 5.5 的代码随着时间的推移确实变得更加混乱,在许多问题中结构侵蚀和冗余度增加。然而,这种代码混乱并没有导致其通过检查点的能力下降,也没有导致先前通过的测试出现更高的回归率。有趣的是,虽然代码大小会影响成本,但代码混乱本身并不能预测后续检查点的成本更高。 AI
影响 表明代码混乱可能不是 AI 模型在编码任务中失败的直接预测因素,这可能会影响代码质量指标的使用方式。
排序理由 用户进行的现有模型研究/基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →