PulseAugur
中
实时 12:41:34
English(EN) b12284: CUDA: Add OCP FP8 support (#28413)

llama.cpp 为 NVIDIA GPU 添加 OCP FP8 支持，提升性能

作者 PulseAugur 编辑部 · [1 个来源] ·

llama.cpp 项目已在 CUDA 上引入对 OCP FP8（八位压缩精度浮点数 8 位）的支持，提升了 NVIDIA GPU 的性能。此次更新包括对通用矩阵向量乘法 (GEMV) 的优化，并将 FP8 支持集成到 FlashAttention 和 cuBLAS 中。基准测试显示速度显著提升，尤其是在 NVIDIA RTX Pro 4500 Blackwell GPU 上使用 Qwen3.6-27B-NVFP4 模型时，推理时间得到改善。 AI

影响 提升兼容 NVIDIA 硬件上大型语言模型的推理速度。

排序理由 这是对一个开源项目的软件更新，它提高了特定硬件和模型的性能，而不是一项新的前沿模型发布或重大的行业事件。

在 llama.cpp — Releases 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

llama.cpp 为 NVIDIA GPU 添加 OCP FP8 支持，提升性能

本文如何被排名

Signal score
10 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
这是对一个开源项目的软件更新，它提高了特定硬件和模型的性能，而不是一项新的前沿模型发布或重大的行业事件。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. llama.cpp — Releases TIER_1 English(EN) · ORippler ·

    b12284: CUDA: 添加 OCP FP8 支持 (#28413)

    <ul> <li> <p>Initial CUDA WIP version</p> </li> <li> <p>Use fp8 intrinsics</p> </li> <li> <p>Do W8A16 for FP8 in GEMV case</p> </li> </ul> <p>(base) osimons@ub-osimons:~/lcpp_fp8.git$ ./build-x64-linux-gcc-reldbg/bin/llama-bench -m /mnt/share/gguf/nvidia/Qwen3.6-27B-NVFP4/Qwen3.6…

相关实体

相关话题