English(EN) LLMVisor: A Real-Time Latency Attribution Model for Multi-Tenant LLM Serving

LLMVisor模型改进了多租户LLM服务的延迟归因

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-11 04:00

研究人员开发了LLMVisor，这是一种新颖的延迟归因模型，专为多租户LLM服务环境设计。该模型能够实时准确地将延迟归因于单个请求，即使请求在GPU集群上进行联合批处理。LLMVisor在调度循环内高效运行，能够捕获推理过程中的内存密集型和计算密集型阶段。 AI

影响该模型可以提高在共享计算环境中部署大型语言模型的效率和成本效益。

排序理由该集群包含一篇研究论文，详细介绍了一种用于LLM服务基础设施的新模型。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Shuowei Jin, Xueshen Liu, Jiaxin Shan, Le Xu, Tieying Zhang, Liguang Xie, Z. Morley Mao · 2026-08-11 04:00

LLMVisor：多租户LLM服务实时延迟归因模型

arXiv:2608.08382v1 Announce Type: new Abstract: As LLM inference shifts to multi-tenant GPU clusters, co-batching improves throughput but obscures per-tenant usage and limits control. Enabling fractional sharing of the inference engine requires a real-time, per-request attributio…