Yusheng Dai

Omni2Sound 模型通过新数据集统一视频、文本到音频生成

研究人员开发了Omni2Sound，一个统一的扩散模型，能够从视频、文本或两者的组合生成音频。该模型通过引入SoundAtlas（一个具有紧密对齐音频字幕的大规模数据集）和新颖的三阶段渐进式训练计划，解决了数据稀缺和跨任务竞争的挑战。Omni2Sound在一个模型内实现了视频到音频、文本到音频以及视频-文本到音频生成任务的最先进性能，展示了强大的泛化能力。