KVCompass

LLM 推理和服务在 KV 缓存、批处理和扩展方面取得创新

LLM 推理和服务领域的最新进展包括 KV 缓存管理和批处理技术的进步。论文探讨了优化远程 KV 层以降低延迟、用于地理分布式系统的高效 KV 缓存迁移以及代理工作负载中 KV 缓存驻留的策略。KVCompass 等技术旨在跨区域共享前缀缓存，而 TideKV 和 KV-Surgeon 则专注于内存高效的长上下文推理和离线 KV 缓存压缩。此外，Elastic MoE 扩展和提示排序等新的批处理策略为 MoE 模型提供了性能改进，而 …