SWE-CLARIN

新的SWE-Clar基准测试AI编码代理的需求澄清能力

一个名为SWE-Clar的新基准已被开发出来，用于评估编码AI代理澄清不完整客户需求和交付全新软件的能力。该基准使用了来自Upwork的100个真实世界软件开发任务，每个任务价值超过4000美元，并包含一个需求澄清的多轮交互阶段，随后是代码实现和测试。对包括GPT-6 Astra在内的九个前沿模型的实验表明，即使是表现最好的模型，任务通过率也仅为67%，这凸显了在自由职业环境中自主交付软件的难度。