PulseAugur
中
实时 08:40:18
实体 LoopArena

LoopArena

PulseAugur coverage of LoopArena — every cluster mentioning LoopArena across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_300855 ·

    新的LoopArena基准测试评估AI模型作为编码代理的控制器

    一个名为LoopArena的新基准测试已被开发出来,用于评估AI模型在控制编码代理以完成复杂、长期任务方面的有效性。LoopArena通过指导独立的“Worker”代理执行任务、监控进度和决定下一步操作来评估模型作为“Controller”的能力。该基准测试包含三种具有不同执行范围和成本的设置,初步结果显示,即使是表现最好的Controller在完整任务上的成功率也仅为36.25%,表明在循环控制能力方面仍有很大的改进空间。

  2. TOOL · CL_227591 ·

    LoopArena基准测试评估用于软件开发任务的AI控制器

    引入了一个名为LoopArena的新基准测试,用于评估AI模型作为软件开发中循环工程的运行时控制器的有效性。该基准测试评估了控制器模型引导独立的编码代理完成复杂、长期任务的能力。初步结果表明,尽管严格的成功率较低,平均约为24.69%,但使用控制器可以将估计的推理成本降低64%以上。该基准测试旨在区分控制器和编码代理的性能,解决了自动化开发过程中归因成功或失败的关键挑战。