English(EN) b12002: ggml : add batched tensor copy API (#30881)

llama.cpp 为 ggml 添加批处理张量API以提升性能

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-29 18:52

llama.cpp 项目发布了 b12002 版本，为其 ggml 库引入了一个通用的批处理张量复制API。这个新API旨在通过允许批量处理多个张量操作来提高性能。该版本还包括对这些批处理操作的CUDA支持，并将新API集成到llama.cpp的上下文I/O中，以实现更高效的张量处理。 AI

影响提高了流行的LLM推理库中张量操作的效率。

排序理由这是一个软件库更新，不是前沿模型发布或重要的行业事件。

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 2 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 这是一个软件库更新，不是前沿模型发布或重要的行业事件。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

llama.cpp — Releases TIER_1 English(EN) · ggerganov · 2026-10-29 18:52

b12002: ggml : 添加批量张量复制 API (#30881)

<ul> <li>ggml : add generic batched tensor copy API</li> </ul> <p>Assisted-by: pi:llama.cpp/ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF (Mac Studio, M2 Ultra, 192GB)</p> <ul> <li>llama : use batched tensor copy API in context io</li> </ul> <p>Assisted-by: pi:llama.cpp/ggml-org/Dee…