Open Screen Soundtrack Library version 2

新数据集OSSL-v2增强了可复现的视频到音乐生成

研究人员推出了开放屏幕配乐库第二版（OSSL-v2），这是一个包含34,343个视频片段、总计246.4小时的可复现数据集，来源于公共领域电影。这个新的语料库旨在解决视频到音乐生成模型中常因使用短暂的YouTube链接而存在的复现性差距问题。该团队还开发了一种将对话作为视频到音乐生成条件信号的方法，通过整合对话音轨来增强现有模型，使音乐与屏幕上的语音更好地匹配。他们的研究方法在公共领域和商业电影上进行了评估，均显示出优于最先进基线方法的改进。