研究人员推出了 Kandinsky S2V 1.0,这是一个新系列的开源模型,专为生成由音频驱动的人类虚拟形象视频而设计。这些模型有 Lite(20亿参数)和 Pro(210亿参数)版本,可以根据单个参考图像、语音波形和文本提示,生成具有同步唇部运动、表情和手势的长视频。评估显示,Kandinsky S2V 1.0 Pro 在性能上可与领先的开源和专有模型相媲美,甚至更优,尤其是在唇部同步方面。该项目还包括用于加速生成的蒸馏版本,并根据 MIT 许可发布代码、检查点和集成,以促进开放研究。 AI
影响 通过发布高性能的开源模型,加速了音频驱动的虚拟形象视频生成领域的开放研究。
排序理由 该条目描述了一篇介绍新型音频驱动视频生成模型系列的研究论文,包括性能基准和代码发布。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- Kandinsky 5.0
- Kandinsky S2V 1.0
- Kandinsky S2V 1.0 Lite
- Kandinsky S2V 1.0 Pro
- MIT License
- Qwen2.5 Omni
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →