OmniVR模型联合修复退化历史影片的视频和音频

研究人员推出OmniVR，这是一种新颖的生成模型，旨在通过联合处理视频和音频来修复退化的历史影片。与以往单独处理模态的方法不同，OmniVR利用一个拥有220亿参数的音频-视频生成骨干网络来同时增强视觉和听觉元素。该模型包含一个专门的退化处理流程、一个保持架构的过渡机制以及首帧锚定，以提高长视频修复和音频保真度。还开发了一个新的基准OmniVRBench，用于评估跨多个标准的音频-视频修复效果，证明了OmniVR的卓越性能。 AI

影响 为多模态修复设定了新标准，可能影响档案和媒体修复行业。

排序理由 详细介绍新模型和基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Diffusion Transformer
• Gotit.pub
• Hugging Face
• OmniVR
• OmniVRBench
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →