新的InterPet4D数据集和InterPetMoGen框架推动人宠动作生成研究

研究人员推出了InterPet4D，一个旨在推进人宠交互研究（特别关注动作生成）的新型多模态数据集。该数据集包含680万帧捕捉人与狗之间自然交互的画面，并配有同步的多视角视频、2D/3D关键点、网格和音频。研究团队还开发了利用Diffusion Transformer架构的InterPetMoGen框架。他们的模型在基线方法上表现出色，FID得分为11.21，突显了该数据集在真实人宠动作建模方面的实用性。 AI

影响 该数据集和框架有望为真实人宠交互建模和动画领域带来新的研究和应用。

排序理由 该集群描述了一个新的学术数据集和动作生成框架，发布在arXiv上。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Diffusion Transformer
• Gotit.pub
• Hugging Face
• InterPet4D
• InterPetMoGen
• ScienceCast
• sequence-to-sequence learning

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →