NVIDIA RTX 4090 Laptop GPU

MoE 卸载在消费级 GPU 上的性能各不相同

一位本地语言模型爱好者在 16GB 显存的 GPU 上探索了混合专家（MoE）模型的性能，比较了传统的层卸载与一种较新的特定于 MoE 的卸载技术。该实验使用 llama.cpp 在配备 NVIDIA RTX 4090 笔记本 GPU 和 Intel Core i9-14900HX CPU 的 Acer Predator 笔记本电脑上测试了五个不同的 MoE 模型。与预期相反，结果表明选择性 MoE 卸载的性能并不总是优于传统的层卸载…