UnfoldML

UnfoldML 使用 RadixAttention KV 缓存优化 LLM 推理

UnfoldML 推出了 RadixAttention，这是一种新的 KV 缓存策略，旨在优化 LLM 推理的预填充阶段。该方法利用基数树数据结构来高效地存储和共享多个并发推理请求之间的共同前缀，从而减少内存使用和计算量。该系统专为用户在本地硬件上部署 LLM 推理而设计，优先考虑数据隐私并适应不同的硬件能力。