JetClass-II

Mixture-of-Experts Particle Transformers 在喷注分类中显示出准确性提升

研究人员探索了在粒子变换器中使用混合专家（MoE）模型的有效性，用于喷注分类任务。他们对188类JetClass-II数据集的研究表明，在控制了token丢弃的情况下，top-1 MoE模型在计算成本相似的情况下，比密集基线模型提供了准确性提升。尽管计算需求增加，但每个token激活多个专家可以进一步提高预测性能。分析还显示，虽然专家分配可能与粒子身份和运动学相关，但这种结构化组织并未持续提高分类准确性。