English(EN) Running qwen 3.8 27B iq3 xxs on RTX 3060.

Qwen 3.8-27B模型在RTX 3060上运行，速度为10-20 TPS

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-09 23:42

Reddit的r/LocalLLaMA板块的一位用户分享了他们在RTX 3060 GPU上运行带有iq3 xxs量化的Qwen 3.8-27B模型的经验。他们报告称，模型速度在每秒10-20个token之间，提示处理大约需要4-7分钟。该用户还提供了详细的命令行参数和一个GitHub仓库链接，供其他人在类似硬件上复制该设置。他们指出，加载模型和缓存后，仍有超过1GB的VRAM剩余。 AI

影响证明了在主流消费级GPU上运行大型语言模型的可行性。

排序理由用户生成的使用消费级硬件运行特定模型的指南。

在 r/LocalLLaMA 阅读 →

基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 1 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 用户生成的使用消费级硬件运行特定模型的指南。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/SummarizedAnu · 2026-09-09 23:42

在RTX 3060上运行qwen 3.8 27B iq3 xxs。

<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1wc2cs2/running_qwen_38_27b_iq3_xxs_on_rtx_3060/"> <img alt="Running qwen 3.8 27B iq3 xxs on RTX 3060." src="https://preview.redd.it/5k05y1u0zkoh1.png?width=140&height=114&auto=webp&s=e5fd03e502e4f…

本文如何被排名

报道来源 [1]

在RTX 3060上运行qwen 3.8 27B iq3 xxs。

相关实体

相关话题