Kmemo

Kmemo 2.0 语义缓存弥补性能差距，可与 GPTCache 媲美

Kmemo 2.0，一个用于 LLM 调用的语义缓存，已发布，解决了之前确定的两个不足之处。第一个不足之处是关于其验证器模型的有效性，现已量化：它阻止了初始守卫遗漏的大量近乎匹配和释义。第二个不足之处是与自建基线的比较，现已更新为包含与 GPTCache 的比较。虽然 Kmemo 的词汇链最初表现强劲，但 GPTCache 的 ONNX 交叉编码器在减少误报方面被证明更有效，尽管代价是拒绝了更多真实的改写。