VersaDB

新的VersaDB数据库统一AI数据集以加快处理速度

研究人员开发了VersaDB，一个旨在统一和加速处理各种AI训练数据集的新数据库系统。该系统通过采用基于页面的存储方法和B+树索引来实现更快的数据访问，从而解决了不同数据模态（文本、图像、音频）和存储格式带来的挑战。VersaDB还具有自动分片和分层元数据管理系统，旨在优化GPU和TPU等AI硬件的数据处理。实验表明，VersaDB在数据处理方面可实现高达5.35倍的速度提升。