PulseAugur
中
实时 18:00:42
English(EN) Service-Induced Congestion in Memory-Constrained LLM Serving

新研究发现“服务诱导拥塞”影响 LLM 服务吞吐量

作者 PulseAugur 编辑部 · [2 个来源] ·

一篇新发表在 arXiv 上的研究论文详细介绍了一种在大型语言模型 (LLM) 服务中出现的现象，称为“服务诱导拥塞”。当 LLM 自身的内存使用量，特别是其键值缓存，随着每个生成的 token 而增长时，就会发生这种情况，导致在高并发下容量压力增加。当超过内存限制时，活动请求将被逐出，浪费计算资源，并将整体吞吐量降低高达 50%。该论文提出了一个动力学模型来分析这个问题，并提出了调度设计原则来缓解它，特别是通过利用工作负载异构性来稳定内存受限的服务。 AI

排序理由 该集群包含一篇发表在 arXiv 上的研究论文，详细介绍了一个新颖的技术问题及其分析。

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Ruicheng Ao, Jing Dong, Gan Luo, David Simchi-Levi ·

    Service-Induced Congestion in Memory-Constrained LLM Serving

    arXiv:2606.15555v1 Announce Type: cross Abstract: In large language model (LLM) serving, each request accumulates persistent graphics processing unit (GPU) memory during service as its key-value cache grows with every generated token. Under high concurrency, aggregate memory usag…

  2. arXiv stat.ML TIER_1 English(EN) · David Simchi-Levi ·

    Service-Induced Congestion in Memory-Constrained LLM Serving

    In large language model (LLM) serving, each request accumulates persistent graphics processing unit (GPU) memory during service as its key-value cache grows with every generated token. Under high concurrency, aggregate memory usage therefore increases endogenously over time: the …

相关实体

相关话题