研究人员推出了MAServeBench,这是一个旨在评估多代理大型语言模型(LLM)服务系统性能的新基准。该基准捕获了多代理系统中固有的复杂协调和通信模式,这些模式导致了对服务硬件的动态需求。MAServeBench利用分层语义跟踪来确保可复现的比较,并将这些工作负载与实际的服务执行和硬件行为联系起来,突出了服务效率与任务完成时间之间的差异。该基准的代码以及各种引文分析和代码发现工具均已公开提供。 AI
影响 为评估LLM服务基础设施提供了一种标准化方法,有可能加速复杂的多代理AI应用程序的开发和部署。
排序理由 该项目是一篇研究论文,详细介绍了用于评估多代理LLM服务系统的新基准。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.MA (Multiagent) 阅读 →
- AI accelerator
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- graphics processing unit
- Hugging Face
- Influence Flower
- large language model
- Litmaps
- MAServeBench
- multi-agent system
- ScienceCast
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →