Chengxiang Huang

新的LoopArena基准测试评估AI模型作为编码代理的控制器

一个名为LoopArena的新基准测试已被开发出来，用于评估AI模型在控制编码代理以完成复杂、长期任务方面的有效性。LoopArena通过指导独立的“Worker”代理执行任务、监控进度和决定下一步操作来评估模型作为“Controller”的能力。该基准测试包含三种具有不同执行范围和成本的设置，初步结果显示，即使是表现最好的Controller在完整任务上的成功率也仅为36.25%，表明在循环控制能力方面仍有很大的改进空间。