llama.cpp b12007 版本增强了 GPU KV 缓存旋转

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-30 13:54

llama.cpp 项目发布了 b12007 版本，对其 KV 缓存旋转功能进行了重大更新。此次发布通过将旋转常数保留在 GPU 上来提高性能，并支持每层旋转缓冲区，特别有利于 mistral-large4 和 dflash 等模型。该版本还详细介绍了跨各种操作系统的兼容性，包括 macOS（支持 Apple Silicon 和 Intel）、Linux、Android 和 Microsoft Windows，并特别提到了使用 ACL Graph 的 openEuler 构建。 AI

影响提高了在各种硬件和操作系统上本地 LLM 推理的性能和兼容性。

排序理由这是一个特定项目的软件发布，而不是前沿模型发布或重要的行业事件。

在 llama.cpp — Releases 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 7 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 这是一个特定项目的软件发布，而不是前沿模型发布或重要的行业事件。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

llama.cpp — Releases TIER_1 (SO) · github-actions[bot] · 2026-10-30 13:54

b12007

<details open=""> <p>kv-cache : keep rotation constants on the GPU (<a class="issue-link js-issue-link" href="https://github.com/ggml-org/llama.cpp/pull/31073">#31073</a>)</p> <ul> <li>kv-cache : keep rotation constants on the GPU</li> </ul> <p>Assisted-by: Codex</p> <ul> <li>tes…

本文如何被排名

报道来源 [1]

b12007

相关实体

相关话题