InferScale系统通过GPU原生KV注入优化LLM服务

研究人员开发了InferScale，一个新颖的GPU原生系统，旨在提高利用个性化上下文的大型语言模型（LLM）的服务效率。InferScale用可重用的KV状态替换重复的提示预填充，将内存事实的预计算KV表示直接存储在GPU上。这种方法在检索到的上下文大小增加时显著减少了首次令牌时间（TTFT），提供了显著的性能提升并保持了准确性。 AI

影响 通过优化GPU上的内存管理，降低LLM服务延迟并提高吞吐量。

排序理由 该集群包含一篇详细介绍LLM服务新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• Chunked RoPE
• graphics processing unit
• Hugging Face
• InferScale
• Long Context Modeling
• Mem0 Agent Memory Framework
• MemGPT
• vLLM
• Zep Ai

• 基础设施
• 论文

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →