PulseAugur
中
实时 23:49:43
English(EN) Qwen3.8-27B on a single 3090: 140 tok/s on code with a custom megakernel

自定义 CUDA 内核将 Qwen3.8-27B 在 RTX 3090 上的性能提升 1.9 倍

作者 PulseAugur 编辑部 · [1 个来源] ·

一位用户为 Qwen3.8-27B 模型开发了一个自定义 CUDA megakernel，显著提升了其在 RTX 3090 显卡上的性能。与标准的 llama.cpp 实现相比，该新内核在代码生成和提示处理等任务上的速度提高了 1.4 倍到 1.9 倍。该优化通过在单个内核启动中运行推测解码周期来减少开销。虽然目前该内核针对特定的模型量化和硬件进行了定制，但其设计目标是作为 OpenAI 兼容的服务器替代品。 AI

影响 通过自定义内核开发，展示了在消费级硬件上实现显著推理加速的潜力。

排序理由 用户为开源模型开发的优化。 [lever_c_demoted from research: ic=1 ai=0.7]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

自定义 CUDA 内核将 Qwen3.8-27B 在 RTX 3090 上的性能提升 1.9 倍

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
用户为开源模型开发的优化。 [lever_c_demoted from research: ic=1 ai=0.7]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, product
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
1 days old
Coverage has settled into its steady-state source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/Adorable_Weakness_39 ·

    Qwen3.8-27B 在单块 3090 上：使用自定义 megakernel 在代码上实现 140 tok/s

    <!-- SC_OFF --><div class="md"><p>I've been using Claude Opus 5.5 to speed up Qwen3.8-27B on my PC (rtx 3090), it wrote a CUDA megakernel that is 1.4-1.9x faster than llama.cpp depending on the task/context length. The results and code are below:</p> <p>Results (same hardware, my…

相关实体

相关话题