HijackKV

LLM KV缓存管理：安全威胁与效率创新

研究人员正在探索管理大型语言模型（LLM）中关键值（KV）缓存的新方法，这对于推理速度至关重要，但会随着上下文长度线性增长。一种方法，“通过随机设计实现KV缓存驱逐的误差证书”，提出使用随机驱逐策略来提供误差界限并改进故障归因，在降低预算的情况下几乎免费地获得性能提升。相比之下，“HijackKV”识别出位置无关KV缓存重用方面的一个新安全漏洞，其中受污染的KV数据可以以很高的成功率悄悄地劫持模型行为。第三种方法，“SelKV”，提供…