新的 RAG 系统 FinCacheServe 将 LLM 调用减少超过 53%

研究人员开发了 FinCacheServe，一个旨在提高检索增强生成 (RAG) 服务成本效率的系统，特别适用于可变的企业文档。该系统通过重用先前生成的答案来解决冗余计算问题，从而减轻 GPU 的工作负载。FinCacheServe 通过基于企业意图的答案索引，并确保文档版本、证据指纹、工具指纹、模型身份和解码配置的依赖一致性来实现这一点。使用 Qwen2.5 模型在金融文档工作负载上的评估表明，FinCacheServe 在保持依赖新鲜度的同时，可以跳过超过 53% 的 LLM 调用，显著优于现有的缓存方法。 AI

影响 该系统可以通过最小化冗余的 LLM 计算，显著降低 RAG 应用的运营成本。

排序理由 详细介绍 RAG 服务新系统的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• FinCacheServe
• graphics processing unit
• Hugging Face
• Qwen2.5
• retrieval-augmented generation
• vLLM

• 基础设施
• 论文

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →