一项名为 MaxxBench 的新基准测试已被开发出来,用于评估前沿编码代理的适应性和泛化能力。MaxxBench 对现有任务进行微小变异,例如更改文件名约定或时区格式,以测试模型在处理可能已在其训练数据中出现过的需求修订时的表现。初步结果显示,在面对这些改编后的任务时,Claude Opus 5.5 和 Gemini 3.8 Flash 等领先模型的性能显著下降,与其在原始 DeepSWE 基准测试中的得分相比,它们在可靠处理变更方面的能力存在巨大差异。 AI
影响 凸显了当前编码代理适应不断变化的需求的潜在局限性,表明需要改进泛化能力。
排序理由 该条目描述了一项新的基准测试和关于AI模型性能的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hacker News — AI stories ≥50 points 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →