PulseAugur
中
实时 07:28:57

llama.cpp b11902 使用 set_tensor_2d 加速张量切分模型加载

作者 PulseAugur 编辑部 · [1 个来源] ·

llama.cpp 项目发布了 b11902 版本，引入了一个名为 `set_tensor_2d` 的新函数，旨在显著加速张量切分模型的加载。此优化通过共享暂存槽批量处理二维张量上传，从而实现更高效的数据传输。在配备 GPT-OSS 120B UD-Q4_K_XL 模型的双 Arc Pro B70 GPU 上进行的初步测试表明，运行时从超过 260 秒减少到约 115 秒，同时确保了数据完整性。 AI

影响 通过加速模型加载时间，提高了 llama.cpp 用户推理的性能。

排序理由 这是一个特定工具的软件更新，并非前沿发布或重要的行业事件。

在 llama.cpp — Releases 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

llama.cpp b11902 使用 set_tensor_2d 加速张量切分模型加载

本文如何被排名

Signal score
2 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
这是一个特定工具的软件更新，并非前沿发布或重要的行业事件。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, product
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

  1. llama.cpp — Releases TIER_1 Dansk(DA) · Captain-Tripps ·

    b11902: sycl: 添加 set_tensor_2d 以实现更快的张量分割加载 (#30358)

    <ul> <li>sycl: add set_tensor_2d for faster tensor-split loading</li> </ul> <p>Pack host rows into chunks of up to 64 MiB when destination rows are<br /> contiguous, avoiding a separate upload call for each row. Keep the<br /> existing per-row copy path for non-contiguous destina…

相关实体

相关话题