English(EN) tandem.cpp: Qwen3.8-Flash-Next at 97 tok/s on a single 4090 + 64 GB RAM, 3.3× llama.cpp, works for any MoE

tandem.cpp 提升消费级硬件上 MoE 模型速度 · 跟踪 1 个来源

作者 PulseAugur 编辑部 · [1 个来源] · 2026-11-01 20:23

为 llama.cpp 开发了一个名为 tandem.cpp 的新补丁集，旨在提高超出 GPU 内存容量的混合专家（MoE）模型的性能。通过智能地将模型专家分配在 GPU 和 CPU 之间，tandem.cpp 实现了显著的速度提升，Qwen3.8-Flash-Next 在配备 64GB RAM 的单块 RTX 4090 上每秒处理的 token 数提高了 3.3 倍。此优化也使其他 MoE 模型受益，速度提升了 1.4 倍到 2.1 倍，并加快了长上下文的提示处理速度。 AI

影响增强了 MoE 模型在本地的推理性能，使其在消费级硬件上更易于使用。

排序理由为现有推理引擎提供的新软件补丁集，提高了特定模型架构的性能。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 为现有推理引擎提供的新软件补丁集，提高了特定模型架构的性能。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 1 days old; Coverage has settled into its steady-state source set.

完整方法见我们的编辑标准。

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/smflx · 2026-11-01 20:23

tandem.cpp: Qwen3.8-Flash-Next at 97 tok/s on a single 4090 + 64 GB RAM, 3.3× llama.cpp, works for any MoE

<div class="md"><p>tandem.cpp is a patch set for llama.cpp that makes MoE models that don't fit in VRAM run faster. It keeps the most-used experts on the GPU and lets the CPU help with the rest, for any MoE model llama.cpp supports. Single-user decode is the target…

本文如何被排名

报道来源 [1]

tandem.cpp: Qwen3.8-Flash-Next at 97 tok/s on a single 4090 + 64 GB RAM, 3.3× llama.cpp, works for any MoE

相关实体

相关话题