SquashFS

新论文对 HPC 和 AI 数据集的 SquashFS 工作流进行基准测试

arXiv 上的一篇新论文详细介绍了创建 SquashFS 映像文件的十一种不同工作流的基准测试，这对于压缩高性能计算 (HPC) 系统上包含大量小文件的压缩数据集非常有用。该研究专门解决了此类数据集在 HPC 元数据服务器上并行访问的挑战。论文为 HPC 用户提供了关于最高效的 SquashFS 映像创建工作流的建议，考虑了数据源格式、映像创建位置和压缩线程使用情况等因素。