moe_shakespeare15M.gguf

Llama-server 提示缓存错误导致 LoRA 缩放推理不正确

llama-server 的 RAM 提示缓存中的一个错误可能导致在使用不同缩放比例的 LoRA 适配器时生成不正确的文本。缓存存储了计算出的 KV 状态，但没有记录使用的具体 LoRA 适配器和缩放比例，导致服务器可能重用过时的 KV 状态。在 `llama.cpp` 的多个版本中都观察到了此问题，在测试中，当一个提示首先以一种 LoRA 缩放比例处理，然后在另一个请求占用处理槽后以不同的缩放比例重新处理时，失败率为 100%。禁用…