PulseAugur
中
实时 12:34:53
English(EN) llama.cpp PR reports up to 169% faster quantized-KV decode at 118K context on Intel Battlemage from one SYCL kernel switch

llama.cpp PR 提升 Intel GPU 和 x86 CPU 性能

作者 PulseAugur 编辑部 · [2 个来源] ·

llama.cpp 项目的一个拉取请求（PR）为量化 KV 缓存解码带来了显著的性能提升。一项更改针对 Intel Battlemage GPU，通过 SYCL 内核切换，在长上下文长度下实现了高达 169% 的解码速度提升。另一项优化侧重于 x86 CPU，为 Q2_0 量化实现了一个 VNNI 路径，解码性能提升了 3-3.6 倍。尽管这些改进在基准测试中显示出有希望的结果，但它们目前仍处于开放的拉取请求状态，需要在各种硬件配置上进行进一步的独立验证。 AI

影响 llama.cpp 中的这些优化可能会带来更快的本地推理速度，使大型模型在消费级硬件上更易于访问和响应。

排序理由 该集群报告了开源项目的拉取请求，这些请求引入了优化和基准测试结果，属于人工智能基础设施领域的研究和开发。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

llama.cpp PR 提升 Intel GPU 和 x86 CPU 性能

报道来源 [2]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/BTA_Labs ·

    llama.cpp PR 报告称，通过一个 SYCL 内核切换，在 Intel Battlemage 上 118K 上下文的量化 KV 解码速度最多可提升 169%

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1vi6hmw/llamacpp_pr_reports_up_to_169_faster_quantizedkv/"> <img alt="llama.cpp PR reports up to 169% faster quantized-KV decode at 118K context on Intel Battlemage from one SYCL kernel switch" src="https://pr…

  2. r/LocalLLaMA TIER_1 English(EN) · /u/BTA_Labs ·

    llama.cpp 的一个 PR 使 Q2_0 在 x86 CPU 上速度提升 3.0–3.6 倍，8B 解码速度从 2.39 → 8.20 tok/s

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1vhz989/a_llamacpp_pr_makes_q2_0_3036x_faster_on_x86_cpus/"> <img alt="A llama.cpp PR makes Q2_0 3.0–3.6x faster on x86 CPUs, 8B decode goes 2.39 → 8.20 tok/s" src="https://preview.redd.it/pyim0m155yhh1.jpeg?w…

相关实体

相关话题