CacheRouter

新的CacheRouter架构提高了LLM工具使用效率

研究人员开发了一种名为CacheRouter的新型双路径架构，以解决LLM工具使用中渐进披露和提示缓存之间的权衡问题。该设计将工具选择和传递分离到不同的通道，允许主模型维护一个稳定、缓存的提示前缀，而独立的路由器子模型则处理动态工具集的发现和执行。该系统可自动从源代码注册工具，并在测试中显著提高了缓存命中率（高达95.2%），并将输入成本降低到无缓存基线的8.0%。