研究人员探索了在粒子变换器中使用混合专家(MoE)模型的有效性,用于喷注分类任务。他们对188类JetClass-II数据集的研究表明,在控制了token丢弃的情况下,top-1 MoE模型在计算成本相似的情况下,比密集基线模型提供了准确性提升。尽管计算需求增加,但每个token激活多个专家可以进一步提高预测性能。分析还显示,虽然专家分配可能与粒子身份和运动学相关,但这种结构化组织并未持续提高分类准确性。 AI
影响 探索针对专业科学领域优化MoE模型,可能提高复杂数据分析的效率。
排序理由 学术论文,详细介绍了粒子物理MoE模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- IArxiv
- JetClass-II
- Mixture-of-Experts
- Particle Transformers
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →