研究人员推出了一种新颖的关系型大型语言模型 (LLM) 服务系统 Kalypso，该系统提高了处理非结构化数据的效率。与传统的以请求为中心的 LLM 服务系统不同，Kalypso 具有查询感知能力，能够跨语义运算符进行流水线执行。这使得 KV 缓存状态可以在运算符之间重用，从而显著减少重新计算。一种自适应调度算法管理 GPU 内存压力，以优化 KV 缓存重用，与现有方法相比，查询完成时间最多可提高 4.57 倍。 AI
影响 通过实现查询感知的 LLM 服务，提高了语义查询执行的效率。
排序理由 该集群包含一篇详细介绍 LLM 服务新系统的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
