scDataset

新的数据加载器scDataset加速了大规模单细胞组学数据集上的深度学习

研究人员开发了scDataset，一个PyTorch数据加载器，旨在高效处理用于深度学习的大规模单细胞组学数据集。该工具通过结合块采样和批量获取，解决了加载超出可用内存的海量数据集的挑战。这种方法实现了准随机采样，平衡了I/O效率和最小批次多样性，并在1亿个细胞的数据集上与传统随机采样相比实现了两个数量级以上的加速，同时保持了可比的模型性能。