PulseAugur
中
实时 08:56:29
English(EN) InferScale: GPU-Native KV Injection for Personalized LLM Serving

InferScale系统通过GPU原生KV注入优化LLM服务

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了InferScale，一个新颖的GPU原生系统，旨在提高使用个性化上下文的大型语言模型（LLM）的服务效率。InferScale用可重用的KV状态替换重复的提示预填充，将内存事实的预计算KV表示直接存储在GPU上。这种方法在检索的上下文大小增加时显著减少了首次令牌时间（TTFT），提供了显著的性能提升并保持了准确性。 AI

影响 通过优化GPU上的内存管理，降低LLM服务延迟并提高吞吐量。

排序理由 该集群包含一篇详细介绍LLM服务新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

InferScale系统通过GPU原生KV注入优化LLM服务

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Peter Li, Prashant Pandey ·

    InferScale：面向个性化 LLM 服务的 GPU 原生 KV 注入

    arXiv:2607.27090v1 Announce Type: cross Abstract: Large language models are increasingly deployed with persistent personalized context, such as accumulated memory profiles or long conversation histories, that is shared across a user's many requests. Production memory systems (e.g…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    InferScale: GPU-Native KV Injection for Personalized LLM Serving

    Large language models are increasingly deployed with persistent personalized context, such as accumulated memory profiles or long conversation histories, that is shared across a user's many requests. Production memory systems (e.g., Mem0, MemGPT, and Zep) retrieve a relevant subs…

相关实体

相关话题