English(EN) llama.cpp's MoE cache nearly doubled 30B decode speed on a free T4

llama.cpp MoE 缓存近乎使大型模型解码速度翻倍

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-18 11:02

llama.cpp 项目引入了一项新的混合专家（MoE）缓存功能，该功能显著提高了无法完全放入 GPU 内存的大型模型的解码速度。此缓存将频繁使用的专家存储在 VRAM 中，减少了通过 PCIe 从较慢的系统 RAM 传输数据的需求。基准测试显示，在配备 Qwen3-30B-A3B 模型的 Tesla T4 GPU 上，解码速度近乎翻倍，而在 RTX 5090 等高端硬件上，性能提升甚至更大。 AI

影响提高了消费级硬件上大型 MoE 模型的推理效率，使其更易于访问。

排序理由这是对现有开源推理引擎的优化，并非新的模型发布或核心研究。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 29 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 这是对现有开源推理引擎的优化，并非新的模型发布或核心研究。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · sam ros · 2026-10-18 11:02

llama.cpp 的 MoE 缓存使免费 T4 上的 30B 解码速度近乎翻倍

<p>If your MoE model is too big for your GPU, llama.cpp fills VRAM with as many whole layers of experts as fit and runs the rest on the CPU, from system RAM. Every token then waits on the slowest part of your machine. Since build b11480 there's a better use for that VRAM: a cache…

本文如何被排名

报道来源 [1]

llama.cpp 的 MoE 缓存使免费 T4 上的 30B 解码速度近乎翻倍

相关实体

相关话题