OmniVRBench

OmniVR模型联合修复退化历史影片的视频和音频

研究人员推出OmniVR，这是一种新颖的生成模型，旨在通过联合处理视频和音频来修复退化的历史影片。与以往单独处理模态的方法不同，OmniVR利用一个拥有220亿参数的音频-视频生成骨干网络来同时增强视觉和听觉元素。该模型包含一个专门的退化处理流程、一个保持架构的过渡机制以及首帧锚定，以提高长视频修复和音频保真度。还开发了一个新的基准OmniVRBench，用于评估跨多个标准的音频-视频修复效果，证明了OmniVR的卓越性能。