研究人员开发了一种新的实证方法来专门研究GPU驱动的大模型服务系统中的软件老化问题。他们的研究历时216小时，覆盖了六个部署实例，监测了主机、设备和客户端指标，以识别内存老化问题。研究结果表明，存在显著的内存泄漏，且这些泄漏取决于服务运行时和配置，为该领域的未来研究提供了一个可复现的框架。 AI
影响 识别出大模型服务基础设施中的关键内存老化问题，可能影响性能和稳定性。
排序理由 该集群包含一篇学术论文，详细介绍了研究大模型服务系统软件老化问题的新方法和发现。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.11916v1 Announce Type: cross Abstract: This paper proposes an empirical methodology to study software aging in GPU-based LLM serving systems. Traditional aging studies focus on CPU-centric software with relatively regular workloads; LLM serving is different, spanning a…
This paper proposes an empirical methodology to study software aging in GPU-based LLM serving systems. Traditional aging studies focus on CPU-centric software with relatively regular workloads; LLM serving is different, spanning a Python host and a CUDA device, handling requests …