jit_context

AI代理使用即时上下文加载来降低成本并提高质量

一种管理AI代理对话历史的新方法旨在通过仅在需要时加载上下文来降低成本并提高响应质量。这种方法称为“jit_context”，它使用一个两层系统：“热索引”保留在上下文窗口内，包含过去轮次的摘要和元数据，以及“冷存储”保存完整的对话历史。当处理新轮次时，系统首先在热索引中语义搜索相关的过去轮次，然后使用一个小模型选择最相关的轮次加载到上下文窗口中，以及系统提示和最近的轮次。