EdgeSync-LLM

开发者通过 KV 缓存重用将 Android 上的 LLM 推理速度提高了 9.9 倍

一位开发者通过重用 KV 缓存状态，探索了一种降低 Android 设备上本地 LLM 推理延迟的方法。该技术在 EdgeSync-LLM 中实现，涉及在处理共享前缀后捕获 KV 缓存，并在后续具有相同前缀的请求中恢复它。在 ARM64 Android 手机上的基准测试显示，缓存命中时首次令牌时间 (TTFT) 降低了 9.9 倍，在 x86-64 系统上则提高了 7.5 倍。开发者强调了在基准测试中加入正确性检查的重要性，因为一个最…