FinCacheServe

新的 RAG 系统 FinCacheServe 将 LLM 调用减少超过 53%

研究人员开发了 FinCacheServe，一个旨在提高检索增强生成 (RAG) 服务成本效率的系统，特别适用于可变的企业文档。该系统通过重用先前生成的答案来解决冗余计算问题，从而减轻 GPU 的工作负载。FinCacheServe 通过基于企业意图的答案索引，并确保文档版本、证据指纹、工具指纹、模型身份和解码配置的依赖一致性来实现这一点。使用 Qwen2.5 模型在金融文档工作负载上的评估表明，FinCacheServe 在保持依赖…