InferPrice

llama.cpp MoE 缓存近乎使大型模型解码速度翻倍

llama.cpp 项目引入了一项新的混合专家（MoE）缓存功能，该功能显著提高了无法完全放入 GPU 内存的大型模型的解码速度。此缓存将频繁使用的专家存储在 VRAM 中，减少了通过 PCIe 从较慢的系统 RAM 传输数据的需求。基准测试显示，在配备 Qwen3-30B-A3B 模型的 Tesla T4 GPU 上，解码速度近乎翻倍，而在 RTX 5090 等高端硬件上，性能提升甚至更大。