AgrillaMoE

新的推理引擎提升了 Qwen 3.6-35B-A3B 在 16GB GPU 上的性能

一个名为 AgrillaMoE 的新推理引擎已被开发出来，它从 llama.cpp 分叉而来，用于优化 Qwen 3.6-35B-A3B 模型在 16GB GPU 上的使用。该引擎利用 Unsloth quants 和一种新颖的“MoE 扩展”技术，允许在不重新训练的情况下，每 token 咨询更多的模型专家。据报道，这种方法在 GPQA-Diamond 等基准测试中提高了性能，得分高于标准配置。