RetrievalCache

RAG 系统可以通过多层策略性缓存来提高性能

缓存是检索增强生成（RAG）系统中至关重要但常常被低估的优化手段。虽然许多系统只缓存最终的 LLM 回应，但在管道早期进行缓存可以释放巨大的价值。嵌入层是缓存的理想选择，因为嵌入是确定性的，并且企业级 RAG 系统通常会遇到高查询重复率。缓存检索结果需要仔细的失效机制，该机制应与文档更新相关联，而不是基于时间的 TTL，并使用语料库版本哈希。缓存 LLM 回应是最昂贵且风险最高的，最好将其保留用于答案稳定的查询，例如定义或历史事实，而…