AOS-Bench

新基准评估 LLM 代理的动态工作负载管理能力

研究人员推出 AOS-Bench，这是一个旨在评估 LLM 代理工作负载管理能力的新基准。与以往孤立评估任务的基准不同，AOS-Bench 模拟了动态工作负载，任务随时间到达并争夺共享的 CPU 和内存资源。初步测试显示，孤立任务的性能并不能直接转化为流式处理性能，在重负载下成功率显著下降。该基准强调了任务接收和执行策略对代理效率的关键作用，并指出简单的并发限制通常可以优于复杂的管理策略，同时导致系统资源利用不足。