GPU空闲时间和碎片化大幅降低LLM推理吞吐量

GPU空闲时间和内存碎片化显著降低了大型语言模型服务中的推理吞吐量，这些问题常常被计算利用率指标所掩盖。相关研究，包括对vLLM的PagedAttention的研究以及Mingxin FX100的发现，都强调数据移动和KV缓存管理是关键瓶颈。通过将KV缓存卸载到外部存储，如Mingxin FX100所示，可以将GPU保持持续饱和状态并最小化重新计算，从而将吞吐量提高高达40%，并将首次令牌响应时间缩短超过25%。 AI

影响 优化GPU利用率和内存管理对于降低LLM服务成本和提高性能至关重要。

排序理由 该条目讨论了与LLM推理优化相关的研究发现和技术分析，引用了学术论文和技术实现。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

• arXiv
• Efficient Memory Management for Large Language Model Serving with PagedAttention
• FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
• Mingxin FX100
• Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving
• NeurIPS '22
• NVME-of queue management in host clusters
• Proceedings of the 29th Symposium on Operating Systems Principles
• vLLM

• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →