CacheSentry

新工具 CacheSentry 解决 LLM 应用中的提示缓存回归问题

一位开发者创建了一个名为 CacheSentry 的开源工具，用于解决大型语言模型应用中的提示缓存回归问题。该工具旨在检测插入到提示开头附近的动态字段（如 UUID 或时间戳）如何会悄无声息地破坏提示缓存的重用，从而导致大量的 token 损失。CacheSentry 分析提示跟踪信息，以识别这些有问题的字段，估算 token 损失，并可以配置为在缓存能力下降时中断 CI 管道。