llama.cpp b9966 通过缓存正则表达式模式优化性能

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-11 23:28

llama.cpp 项目发布了 b9966 版本，为使用 "sm-tensor" 标志的用户带来了性能优化。此更新解决了在解码过程中，每个张量和令牌都会不必要地重新编译 29 个正则表达式模式的问题。通过缓存这些模式，此修复显著减少了解码线程上浪费的 CPU 周期，从而提高了运行效率。 AI

影响通过减少 CPU 使用量，提高了使用 sm-tensor 标志的 llama.cpp 用户的效率。

排序理由这是针对特定工具的次要软件更新，并非前沿发布或重大的行业事件。

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 这是针对特定工具的次要软件更新，并非前沿发布或重大的行业事件。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 80 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

r/LocalLLaMA TIER_1 Svenska(SV) · /u/Bulky-Priority6824 · 2026-07-11 23:28

llama.cpp b9966 for sm-tensor

<div class="md"><a href="https://github.com/ggml-org/llama.cpp/releases">B9966</a> If you run -sm tensor in production you might want to grab this fix which removes 29 regex recompilations per tensor per token on the decode thread. Claude tell me i…