PulseAugur
中
实时 11:50:27
English(EN) Run Qwen3.8-Flash-Next Locally with EXL3 and TabbyAPI on 40+ GB of RAM

Qwen3.8 Flash Next 模型针对多样化硬件上的本地推理进行了优化

Qwen3.8 Flash Next 模型正在针对各种硬件配置上的本地推理进行优化。一位用户在使用 NInfer 的一个分支的 RTX 6000 上实现了 400 tokens/秒的性能,另一位用户通过实现流式和并行读取,展示了在带有 SSD 的 Mac Mini 上运行该模型。另一份指南详细介绍了如何在具有大量 CPU RAM 卸载的消费级 RTX 5090 上运行 125B 参数模型,还有一位用户通过采用量化和统一内存调度方法,在配备 16GB RTX 3080 的笔记本电脑上展示了 176B 版本。 AI

影响 通过先进的量化和内存管理技术,展示了在消费级硬件上运行大型稀疏 MoE 模型的可行性日益增强。

排序理由 多位用户正在分享他们在消费级硬件上运行特定大型语言模型(Qwen3.8 Flash Next)的方法和基准测试,详细介绍了优化和性能指标。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →

Qwen3.8 Flash Next 模型针对多样化硬件上的本地推理进行了优化

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
多位用户正在分享他们在消费级硬件上运行特定大型语言模型(Qwen3.8 Flash Next)的方法和基准测试,详细介绍了优化和性能指标。
Source corroboration
4 independent sources
Strong cross-source corroboration — multiple independent publishers covered this within the clustering window.
Topics
model release, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
46 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [4]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/lkarlslund ·

    NInfer6000 - Qwen 3.8 Flash Next @ 400 tg/s & 13K pp/s

    <!-- SC_OFF --><div class="md"><p>I've tinkered some more with my fork of NInfer for the Qwen 3.8 Flash Next model on RTX6000, and I've just hit 400tg/s under ideal conditions with it, so I thought it was worth a share.</p> <h3>Decode MTP3 with <code>--lm-head-draft</code></h3> <…

  2. r/LocalLLaMA TIER_1 English(EN) · /u/turtleninja99 ·

    我在 Mac Mini m5 64gb 固态硬盘上运行了 Qwen Flash Next Q4 流式传输

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1wy1o8a/i_got_qwen_flash_next_q4_running_on_a_mac_mini_m5/"> <img alt="I got Qwen Flash Next Q4 running on a Mac Mini m5 64gb with ssd streaming" src="https://external-preview.redd.it/cLHKd2Q2HPPs-wnr_9YkxlA7M…

  3. dev.to — LLM tag TIER_1 English(EN) · Seppe Gadeyne ·

    在 40GB 以上内存上使用 EXL3 和 TabbyAPI 在本地运行 Qwen3.8-Flash-Next

    <p><strong>Qwen3.8-Flash-Next is a 125B mixture-of-experts model, and you can run it locally on one consumer GPU.</strong> This guide shows the exact route we use on our own workstation: TabbyAPI as the server, ExLlamaV3 as the inference engine, and turboderp's 3.05 bpw EXL3 quan…

  4. r/LocalLLaMA TIER_1 English(EN) · /u/fuzhongkai ·

    在 16GB RTX 3080 笔记本电脑 + 32GB 内存 + SSD 上运行 Qwen3.8 Flash Next 176B

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1wwwmy1/running_qwen38_flash_next_176b_on_a_16gb_rtx_3080/"> <img alt="Running Qwen3.8 Flash Next 176B on a 16GB RTX 3080 Laptop + 32GB RAM + SSD" src="https://external-preview.redd.it/i-otbMYqhZpAaSVYPAaKxnoZ…