PulseAugur
中
实时 09:05:04
English(EN) Scaling Laws for Masked-Reconstruction Transformers on Single-Cell Transcriptomics

AI缩放定律在新兴的单细胞基因组学研究中显现

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员调查了应用于单细胞转录组学数据的掩码重建Transformer的缩放定律。他们使用来自CELLxGENE Census的数据进行研究，发现在数据丰富的环境中，这些模型表现出与语言和视觉Transformer相似的幂律缩放。然而，在数据有限的情况下，缩放行为微乎其微，这表明数据可用性是一个关键限制因素。研究结果暗示，当存在足够的数据时，缩放定律适用于基因组学，并强调了数据与参数比率的重要性。 AI

影响 确立了AI缩放原理适用于生物数据，可能指导未来基因组学AI模型的开发。

排序理由 该集群包含一篇学术论文，详细介绍了特定类型AI模型在生物数据上的缩放行为的系统研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Ihor Kendiukhov ·

    单细胞转录组学上掩码重建Transformer的缩放定律

    arXiv:2602.15253v2 Announce Type: replace Abstract: Neural scaling laws -- power-law relationships between loss, model size, and data -- have been extensively documented for language and vision transformers, yet their existence in single-cell genomics remains largely unexplored. …

相关话题