automatic prefix caching (APC)

在特定场景下，SGLang 的 RadixAttention 在 LLM Agent 上的表现优于 vLLM

对于具有长多轮对话的 LLM Agent，SGLang 的 RadixAttention 在速度上显著快于 vLLM 的前缀缓存。这是因为 RadixAttention 的基数树（radix tree）数据结构允许比 vLLM 的基于块的哈希（block-based hashing）更精细地重用共享前缀的 KV 缓存。然而，当处理唯一提示、优先考虑原始吞吐量的短提示或非常高的并发级别时，这种优势会减弱或消失，此时 vLLM 有时可以表…