SwiftKV

SGLang vs. vLLM：前缀缓存性能对决

SGLang 和 vLLM 是两个旨在优化 LLM 推理的系统，特别是通过前缀缓存。SGLang 使用 RadixAttention，一种基于 CPU 的前缀缓存，将提示和答案的 KV 缓存存储在基数树中，允许共享的提示开头重用已存储的内存。vLLM 采用类似的自动前缀缓存机制，对 KV 缓存块进行哈希处理，但它只能重用完整的块，这限制了其在部分前缀匹配方面的有效性。基准测试显示结果不一，一些测试表明 SGLang 在特定的共享前缀场…