WildClaw

新基准评估AI代理调解以改善用户交互

研究人员推出了JarvisBench，这是一个旨在评估AI代理调解在长周期任务中有效性的新基准。该基准包含两个赛道：一个用于代理协作，另一个用于用户交互，分别旨在衡量任务完成度和用户理解度的提升。使用GPT-5.5、Claude Opus 4.7和Gemini等各种LLM进行的初步结果表明，Jarvis风格的调解器可以通过提供基于追踪的响应和注入用户指导来提高任务性能。研究强调，调解器的LLM对其有效性至关重要，并呼吁社区更广泛的参与。