RetrievalAugmentationAdvisor

控制 LLM 成本：优化上下文和工具使用

本文讨论了控制与大型语言模型 (LLM) 相关的成本的方法，特别关注上下文窗口和检索到的信息。文章强调，成本不仅包括模型直接响应的费用，还包括输入令牌的费用，其中包括来自向量存储的文档块和工具定义。文章详细介绍了诸如限制检索文档数量 (topK) 和设置相似度阈值等技术如何减少不必要的令牌使用。此外，文章还解释了后处理步骤在将检索到的文档发送给模型之前进行清理的作用，这可以进一步降低令牌消耗并提高答案质量。