LayoutBench

LayoutBench基准测试评估用于多媒体机器学习工作负载的云存储

一项名为LayoutBench的新基准测试已被开发出来，用于评估不同云存储布局在多媒体机器学习工作负载下的性能。该基准测试比较了三种策略：单个对象（L1）、顺序tar归档（L2）和列式Parquet文件（L3）。在AWS S3和EC2实例上对ImageNet进行的实验表明，L2通过连接重用来提供更低的延迟，而L3在非常大的检索时速度最快，但传输的数据量显著增加且需要更多内存。研究发现，数据传输成本是所有布局中占主导地位的开销。