Qwen3.6-27B-Fable-Fusion

llama.cpp PR 缓存 MoE 专家以加速本地 AI 推理 · 跟踪 4 个来源

llama.cpp 的一项新拉取请求引入了一种在 GPU 上缓存常用专家混合（MoE）层的方法，通过将 Qwen3.6-35B-A3B 等模型在显存有限的消费级硬件上的推理速度最高提升 2 倍。然而，这种优化并非普遍适用，由于开销原因，在某些情况下甚至可能降低性能。同时，llama.cpp 还迎来了其他更新，包括增强了对 Intel GPU 的 SYCL 支持，改进了 iGPU 和 WebGPU F16 性能，并为聊天模型引入了工具调…