Adaptive Mixture of Experts Gate

将自适应MoE门控后验应用于Qwen3.6-35B，效果有限

研究人员为Qwen3.6-35B模型开发了一种后验自适应专家混合（MoE）门控方法，旨在提高效率而无需重新训练。他们的方法作为llama.cpp的推理时补丁实现，对专家路由权重应用累积概率阈值。在Penn Treebank数据集上的实证结果表明，这种后验方法虽然减少了活动专家的数量，但并未显著提高困惑度，与基线固定k模型相比甚至可能略微降低性能。主要贡献在于为生产推理引擎提供了实际实现，并实证证明了将自适应门控应用于预训练的、固定k模型的局限性。