开发者通过 KV 缓存重用将 Android 上的 LLM 推理速度提高了 9.9 倍

一位开发者通过重用 KV 缓存状态，探索了一种降低 Android 设备上本地 LLM 推理延迟的方法。该技术在 EdgeSync-LLM 中实现，涉及在处理共享前缀后捕获 KV 缓存，并在后续具有相同前缀的请求中恢复它。在 ARM64 Android 手机上的基准测试显示，缓存命中时首次令牌时间 (TTFT) 降低了 9.9 倍，在 x86-64 系统上则提高了 7.5 倍。开发者强调了在基准测试中加入正确性检查的重要性，因为一个最初看似快得多的错误实现会丢弃上下文并产生不正确的结果。 AI

影响 这项优化可以显著加快移动设备上的本地 LLM 推理速度，使设备端 AI 更加实用和响应迅速。

排序理由 该项目详细介绍了一种针对本地 LLM 推理的特定技术优化，而不是新的模型发布或基础研究。

在 dev.to — LLM tag 阅读 →

• AArch64
• android
• EdgeSync-LLM
• llama.cpp
• Qwen2.5-0.5B-Instruct Q4_K_M
• x86-64

• 基础设施
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →