English(EN) llama-server's prompt cache reuses KV computed under a different LoRA scale

Llama-server 提示缓存错误导致 LoRA 缩放推理不正确

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-09 01:54

llama-server 的 RAM 提示缓存中的一个错误可能导致在使用不同缩放比例的 LoRA 适配器时生成不正确的文本。缓存存储了计算出的 KV 状态，但没有记录使用的具体 LoRA 适配器和缩放比例，导致服务器可能重用过时的 KV 状态。在 `llama.cpp` 的多个版本中都观察到了此问题，在测试中，当一个提示首先以一种 LoRA 缩放比例处理，然后在另一个请求占用处理槽后以不同的缩放比例重新处理时，失败率为 100%。禁用 RAM 缓存或为每个请求设置 `cache_prompt: false` 可以解决此问题。 AI

影响此错误可能导致使用 `llama-server` 的 LoRA 适配器的用户产生不一致或无意义的输出，可能影响依赖于微调模型行为的应用程序。

排序理由开源 LLM 服务工具特定功能的错误报告。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 27 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 开源 LLM 服务工具特定功能的错误报告。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · The Homelab Postmortem · 2026-10-09 01:54

llama-server 的提示缓存重用在不同 LoRA 尺度下计算的 KV

<p><strong>TL;DR</strong>: <code>llama-server</code>'s RAM prompt cache (<code>--cache-ram</code>, on by default) saves a slot's KV when another request takes the slot, and restores it when the same prompt comes back. The saved entry doesn't record which LoRA adapters and scales …

本文如何被排名

报道来源 [1]

llama-server 的提示缓存重用在不同 LoRA 尺度下计算的 KV

相关实体

相关话题