Clever

LLM 缓存研究：LFU 优于其他驱逐策略，但有效性有限

arXiv 上发表的一项新研究评估了大型语言模型 (LLM) 缓存的各种驱逐策略，发现最不常用 (LFU) 策略在测试中表现最佳。该研究使用了一个名为 CLEVER 的框架，在不同的工作负载、缓存容量和编码器中比较了 FIFO、LRU 等策略。研究结果表明，虽然 LFU 是一个强有力的默认选项，但由于在典型操作点下答案可替代查询的百分比很低，驱逐策略的有效性受到限制，这表明在优化驱逐策略之前应优先考虑建立答案的有效性。