laya-compactor

Laya-compactor 将 RAG 上下文令牌在本地减少 70%

Laya-compactor 是一款新的开源工具，旨在减少检索增强生成 (RAG) 管道中发送到大型语言模型的令牌数量。它通过在本地对检索到的文档进行评分和过滤来实现这一点，只保留最相关的文档，并将令牌数量减少高达 70%，而不会影响 SQuAD 和 HotpotQA 等基准测试的答案质量。该工具提供 Python API，并与 LangChain 和 LlamaIndex 等流行框架集成，为基于 API 的决策模型提供免费替代方案。