PulseAugur
中
实时 09:58:34
English(EN) Qwen3.8-27B UD-IQ4_XS Heretic + MTP on a 16 GB card with 55-68 tok/s (24gb and 12gb versions available too)

Qwen3.8-27B 模型量化适用于 12GB/16GB 显卡并支持 MTP

作者 PulseAugur 编辑部 · [2 个来源] ·

一位用户开发并发布了 Qwen3.8-27B 模型的量化版本，专门为在显存有限的消费级硬件上高效使用而设计。这些版本，包括 UD-IQ4_XS 等，针对多 Token 预测 (MTP) 进行了优化，并提供了不同的上下文长度和性能权衡，详细信息可在比较表和速度基准测试中找到。这些发布旨在使强大的语言模型在常见的 GPU 配置上更易于访问，重点关注在编码和通用代理任务中平衡质量和速度。 AI

影响 使得在低规格硬件上运行先进的 LLM 成为可能，拓宽了 AI 任务的可访问性。

排序理由 用户为消费级硬件开发的现有 LLM 的量化和优化。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

Qwen3.8-27B 模型量化适用于 12GB/16GB 显卡并支持 MTP

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
用户为消费级硬件开发的现有 LLM 的量化和优化。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
model release, product
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
2 days old
Coverage has settled into its steady-state source set.

完整方法见我们的编辑标准。

报道来源 [2]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/ZestRocket ·

    Qwen3.8-27B UD-IQ4_XS Heretic + MTP 在 16GB 卡上实现 55-68 tok/s（另有 24GB 和 12GB 版本）

    <!-- SC_OFF --><div class="md"><p>I wanted the uncensored Qwen3.8-27B (llmfan46's Heretic build, MTP head preserved) on my RTX 4080 with MTP on (because I've been testing TONS of configs, and realized that would be the one) </p> <p>And none of the published quants were built for …

  2. r/LocalLLaMA TIER_1 English(EN) · /u/Brief-Tap-6616 ·

    Qwen3.8 27b 具备 200K 上下文 + MTP 在 12GB Ampere 显卡上

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1x1xt1x/qwen38_27b_with_200k_ctx_mtp_on_12gb_ampere_cards/"> <img alt="Qwen3.8 27b with 200K ctx + MTP on 12GB Ampere Cards" src="https://external-preview.redd.it/eDZvdXJoMXpnaXVoMTyt2cUBHuHfJUkiltSAUhBwGkjrDa…

相关实体

相关话题