llama.cpp 项目发布了版本 b11644 的更新，该更新改进了键值 (KV) 缓存处理部分状态序列化的方式。此更新确保缓存正确支持 PARTIAL_ONLY 标志，防止缓存数据不必要地复制到服务器检查点。更改涉及 src/llama-kv-cache.cpp 和相关的内存包装器，Georgi Gerganov 贡献了此更新。test-llama-context 中的一个新测试用例验证了在未使用 SWA 时，部分状态不会超过完整状态，也不会随着 token 处理而增长。 AI
影响 提高了 llama.cpp 中 KV 缓存管理的效率和正确性，可能带来更好的 LLM 推理性能。
排序理由 这是与 LLM 推理相关的开源项目的软件更新，而不是核心 AI 模型发布或研究。
- Georgi Gerganov
- llama.cpp
- Multi Token Prediction
- ServeurpersoCom
- src/llama-kv-cache.cpp
- test-llama-context
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
