MAServeBench

新基准评估多代理LLM服务系统

研究人员推出了MAServeBench，这是一个旨在评估多代理大型语言模型（LLM）服务系统性能的新基准。该基准捕获了多代理系统中固有的复杂协调和通信模式，这些模式导致了对服务硬件的动态需求。MAServeBench利用分层语义跟踪来确保可复现的比较，并将这些工作负载与实际的服务执行和硬件行为联系起来，突出了服务效率与任务完成时间之间的差异。该基准的代码以及各种引文分析和代码发现工具均已公开提供。