AIME2024

Ban&Pick 策略提升 MoE-LLM 性能和推理速度

研究人员开发了一种名为 Ban&Pick 的训练后策略，以提高专家混合（MoE）大语言模型的性能和效率。该方法解决了关键专家利用不足以及固定专家数量导致冗余的问题。通过识别和加强高影响力专家，Ban&Pick 提高了准确性，同时动态剪枝不太关键的专家则加快了推理速度。该策略在 DeepSeek 和 Qwen3 等模型上，在各种基准测试中都显示出显著的提升，且无需重新训练或架构更改。