PulseAugur
中
实时 21:05:16
English(EN) b11766: metal : optimize argmax and pool_1d (#30862)

llama.cpp 优化 Metal 中 argmax 和 pool_1d 操作的性能

作者 PulseAugur 编辑部 · [1 个来源] ·

llama.cpp 项目发布了 b11766 版本，其中包括针对 Metal 的优化，特别是针对 argmax 和 pool_1d 操作。这些增强旨在通过为大型行 argmax 实现两阶段部分归约以及为 pool_1d 利用协同线程组归约来提高性能。该版本还为 pool_1d 操作添加了性能测试用例，特别是针对 MoE 下投射 amax 形状。 AI

影响 llama.cpp 的性能改进可能导致在 Apple 硬件上兼容模型的本地推理速度更快。

排序理由 这是 llama.cpp 这个特定工具的软件更新，侧重于在 Apple 硬件上对某些操作进行性能优化。

在 llama.cpp — Releases 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

llama.cpp 优化 Metal 中 argmax 和 pool_1d 操作的性能

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
这是 llama.cpp 这个特定工具的软件更新，侧重于在 Apple 硬件上对某些操作进行性能优化。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
3 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. llama.cpp — Releases TIER_1 English(EN) · ggerganov ·

    b11766: metal : 优化 argmax 和 pool_1d (#30862)

    <ul> <li>metal : optimize argmax and pool_1d</li> </ul> <p>Add a two-pass partial reduction for large-row argmax and use cooperative threadgroup reductions for pool_1d. Allocate scratch space for the argmax partials through the Metal buffer allocator.</p> <p>Assisted-by: pi:llama…

相关实体

相关话题