HotKV

HotKV 通过语义缓存将 Claude 的 token 使用量减少了 70%

HotKV 是一个语义缓存系统，通过从内存中处理重复和相似的客户支持查询，显著降低了 LLM 的运营成本。在测试 Anthropic 的 Claude 模型时，HotKV 将 token 使用量和 API 费用减少了约 70%。虽然完全匹配的查询得到了完美处理，但在默认 0.81 相似度阈值下的语义匹配导致答案相关性与直接模型调用相比略有下降，尽管在更高的相似度阈值下这种差距有所缓解。