AMAP-ML

LoopArena基准测试评估用于软件开发任务的AI控制器

引入了一个名为LoopArena的新基准测试，用于评估AI模型作为软件开发中循环工程的运行时控制器的有效性。该基准测试评估了控制器模型引导独立的编码代理完成复杂、长期任务的能力。初步结果表明，尽管严格的成功率较低，平均约为24.69%，但使用控制器可以将估计的推理成本降低64%以上。该基准测试旨在区分控制器和编码代理的性能，解决了自动化开发过程中归因成功或失败的关键挑战。