English(EN) Warning: llama.cpp --lazy-mode default changed to auto - large tables may stay on disk

llama.cpp 更改默认 lazy-mode，影响性能

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-31 20:57

llama.cpp 的 --lazy-mode 默认行为已更改为 'auto'，现在会将大型嵌入表保留在磁盘上，并在推理过程中按需映射。此更改在提交 b10726 中实现，可能导致显著的性能损失，一位用户报告称表处理速度降低了 50%，令牌生成速度降低了 15%。建议拥有足够 RAM 的用户显式将 --lazy-mode 设置为 'off'，以恢复到将表加载到内存的先前行为。 AI

影响 llama.cpp 的此默认行为更改可能需要用户为了获得最佳性能而进行配置调整，特别是那些运行具有重要嵌入表的大型模型的用户。

排序理由流行的开源推理引擎的默认行为发生变化，影响用户性能。

在 r/LocalLLaMA 阅读 →

基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 6 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 流行的开源推理引擎的默认行为发生变化，影响用户性能。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/whiteh4cker · 2026-08-31 20:57

警告：llama.cpp --lazy-mode 默认值已更改为 auto - 大型表可能保留在磁盘上

<div class="md"><p>With b10726, the default --lazy-mode change keeps the 51B-parameter PLE n-gram embedding table of Qwen 3.8 Flash Next on disk: it is mmap'd and its rows are read on demand during inference, even with --load-mode none. It is no longer loaded into …

本文如何被排名

报道来源 [1]

警告：llama.cpp --lazy-mode 默认值已更改为 auto - 大型表可能保留在磁盘上

相关实体

相关话题