Transformer-MoE

新基础模型DoGMA将生物学原理应用于肿瘤学多组学分析

研究人员推出DoGMA，这是一种新颖的基础模型，专为肿瘤学中的多组学对齐和学习而设计。该模型采用以中心法则为指导的方法，在Transformer-MoE架构内利用定向注意力来模拟生物信息的流动方向。通过掩码分层组学重建进行预训练，进一步增强了其学习生物学上一致的跨组学相互作用的能力。DoGMA在各种下游任务中表现出强大的预测性能，包括癌症表征学习、生存预测和转移预测，凸显了领域特定归纳偏倚在多组学基础模型中的优势。