Atompack

新的Atompack格式加速原子机器学习数据集训练

研究人员开发了Atompack，这是一种专为原子机器学习训练数据集设计的新的存储和分发层。该格式针对训练过程中重复读取打乱顺序的分子记录的常见工作负载进行了优化，与HDF5和LMDB等现有解决方案相比，提供了显著的性能提升。Atompack实现了高达96倍的打乱读取速度提升，并且产生的工件体积减小79%，使其在大型科学数据集的训练和公开分发方面都更加高效。