documentation search

LLM 的语义缓存：通过重用答案来降低成本

本文详细介绍了大型语言模型（LLM）的语义缓存，这是一种通过存储和重用先前响应来降低成本的方法。文章解释了语义缓存的工作原理：将用户请求转换为嵌入（embeddings），然后与向量数据库中存储的嵌入进行比较，以查找相似的 past queries。如果找到足够相似的查询，则返回其相应的 LLM 响应，从而绕过新的模型调用。该博文还讨论了安全注意事项，区分了语义缓存适用的场景（如 FAQ 和文档搜索）和不适用的场景（如个性化数据或工具…