KU-Gateway

开源代理 KU-Gateway 解决 RAG 上下文过时问题，减少 token 消耗

一位开发者创建了一个名为 KU-Gateway 的开源代理，以解决企业 RAG 管道中的“上下文过时”问题。该代理位于向量数据库和 LLM 之间，对上下文块进行时间衰减评分，并在过时信息到达 LLM 之前将其删除。在与一家主要科技公司进行的早期访问计划中，该工具据称将 token 使用量减少了约 50%，并防止了过时数据产生的幻觉。开发者现正邀请社区对该代理及其路由逻辑进行压力测试。