CELLxGENE Census

AI缩放定律在新兴的单细胞基因组学研究中显现

研究人员调查了应用于单细胞转录组学数据的掩码重建Transformer的缩放定律。他们使用来自CELLxGENE Census的数据进行研究，发现在数据丰富的环境中，这些模型表现出与语言和视觉Transformer相似的幂律缩放。然而，在数据有限的情况下，缩放行为微乎其微，这表明数据可用性是一个关键限制因素。研究结果暗示，当存在足够的数据时，缩放定律适用于基因组学，并强调了数据与参数比率的重要性。