StableAudio

新的KVAE分词器旨在推进多模态生成模型

研究人员推出了一系列名为KVAE的新型分词器，专为多模态生成模型设计。这些分词器，包括KVAE-Audio、KVAE-3D和KVAE-2D，专门为跨音频、视频和图像数据的文本条件生成任务而构建。该论文详细介绍了这些模型的开发、训练和消融研究，并与社区分享了代码和训练细节。评估表明，KVAE分词器在各种重建和生成指标上均达到或超过了现有开源替代品的性能。