tandem.cpp

tandem.cpp 提升消费级硬件上 MoE 模型速度 · 跟踪 1 个来源

为 llama.cpp 开发了一个名为 tandem.cpp 的新补丁集，旨在提高超出 GPU 内存容量的混合专家（MoE）模型的性能。通过智能地将模型专家分配在 GPU 和 CPU 之间，tandem.cpp 实现了显著的速度提升，Qwen3.8-Flash-Next 在配备 64GB RAM 的单块 RTX 4090 上每秒处理的 token 数提高了 3.3 倍。此优化也使其他 MoE 模型受益，速度提升了 1.4 倍到 2.1…