PulseAugur
中
实时 12:20:22
English(EN) We ran llama.cpp's new --moe-cache-mib on a free 16 GB Tesla T4 with Qwen3-30B-A3B, which doesn't fit on the card. With every expert in RAM and a 10,000 MiB cac

llama.cpp 的 MoE 缓存提升了 Nvidia T4 上 Qwen3-30B-A3B 的速度

作者 PulseAugur 编辑部 · [1 个来源] ·

一位用户在使用 16 GB Nvidia T4 GPU 和 Qwen3-30B-A3B 模型测试 llama.cpp 的新 --moe-cache-mib 功能。尽管模型本身无法完全加载到显存中，但在所有专家都在内存中且使用 10,000 MiB 缓存的情况下，该缓存功能将解码速度从 22.6 tokens/s 提高到 43.2 tokens/s，命中率为 95.7%。用户指出了两个问题：缓存详情仅在详细设置下打印，并且最小尺寸的缓存比没有缓存时速度更慢。 AI

影响 展示了在消费级 GPU 上通过优化缓存，混合专家模型潜在的性能提升。

排序理由 用户对特定软件功能在硬件上的测试。

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

llama.cpp 的 MoE 缓存提升了 Nvidia T4 上 Qwen3-30B-A3B 的速度

本文如何被排名

Signal score
8 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
用户对特定软件功能在硬件上的测试。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. Mastodon — mastodon.social TIER_1 English(EN) · sampop3 ·

    我们在免费的 16 GB Tesla T4 上运行了 llama.cpp 的新 --moe-cache-mib，使用了 Qwen3-30B-A3B，它装不下。每个专家都在 RAM 中，并且有 10,000 MiB 的缓存

    We ran llama.cpp's new --moe-cache-mib on a free 16 GB Tesla T4 with Qwen3-30B-A3B, which doesn't fit on the card. With every expert in RAM and a 10,000 MiB cache, decode went from 22.6 to 43.2 tokens/s at a 95.7% hit rate. Two gotchas: llama-server only prints the cache's lines …

    链接 inferprice.pages.dev/…/llama-cpp-moe-expe… inferprice.pages.dev/articles

相关实体

相关话题