OmniLearned

粒子物理基础模型展现跨域迁移能力

研究人员开发了用于粒子物理的基础模型 OmniLearned 和 ParticleViT，它们展现了跨域迁移能力。这些模型在多样化的碰撞数据上进行了预训练，与从头开始训练的模型相比，在中微子相互作用任务上的表现有所提高。值得注意的是，粒子级预训练相比于 BERT 等不相关的文本预训练具有显著优势，这表明这些基础模型获得了用于粒子物理中探测器无关推理的可泛化归纳偏差。