PulseAugur
中
实时 03:03:16
English(EN) capy-flash v0.7.1: Qwen3.8-Flash-Next (125B MoE) now runs in 64 GB of RAM (234 tok/s on two 16 GB cards), and Qwen3.8-27B 3-bit fits on a single 16 GB card (174 tok/s)

capy-flash v0.7.1 使更大的 Qwen3.8 模型能在消费级 GPU 上运行

开源推理引擎 capy-flash 发布了 0.7.1 版本,使得更大的 Qwen3.8 模型能够在消费级硬件上运行。Qwen3.8-Flash-Next (125B MoE) 模型现在可以在 64 GB 内存中运行,在双 16 GB GPU 上达到 234 token/秒。此外,量化到 3 位的 Qwen3.8-27B 模型可以装入单张 16 GB 卡,运行速度为 174 token/秒。此次更新还提高了 Windows 用户在 CPU 上的性能和内存处理能力。 AI

影响 此次发布使得更强大、更大型的 Qwen3.8 模型能够被拥有消费级 GPU 的用户所使用,可能增加其采用率和实验。

排序理由 这是一个推理引擎的软件发布,它使得现有模型能够在消费级硬件上运行。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

capy-flash v0.7.1 使更大的 Qwen3.8 模型能在消费级 GPU 上运行

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
这是一个推理引擎的软件发布,它使得现有模型能够在消费级硬件上运行。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
1 days old
Coverage has settled into its steady-state source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/FeydRowan ·

    capy-flash v0.7.1:Qwen3.8-Flash-Next (125B MoE) 现在可在 64 GB 内存中运行(两张 16 GB 显卡上为 234 tok/s),Qwen3.8-27B 3 位模型可装入单张 16 GB 显卡(174 tok/s)

    <!-- SC_OFF --><div class="md"><p>I've been building <strong>capy-flash</strong>, an open-source inference engine for running Qwen3.8-Flash-Next (125B MoE) and Qwen3.8-27B on consumer RTX 50 cards. Until now it needed my setup (two 16 GB cards and 96 GB of RAM) or better. v0.7 is…