SWE-Together

新的基准测试评估了交互式、多轮会话中的AI编码代理

引入了两个新的基准测试SWE-Together和SWE-Interact，用于在更真实、交互式和多轮的用户会话中评估编码代理。与一次性提供完整任务描述的静态基准测试不同，这些新框架模拟用户交互，逐步揭示需求并提供反馈。实验表明，在单轮任务上的强劲表现并不总是能转化为多轮场景，像Opus 4.8和GPT 5.5这样的顶级模型仍然存在忘记需求或犯技术性错误等问题。