研究人员开发了Uni-HOI，一个旨在模拟人类、物体和文本之间复杂交互的统一框架。该系统集成了大型语言模型和专门的VQ-VAE，将各种运动数据处理成与LLM兼容的格式。Uni-HOI采用两阶段训练过程，首先学习跨模态的相关性，然后针对特定任务进行微调，在文本驱动的HOI生成和运动预测等领域表现出色。 AI
影响 通过统一文本和运动数据，实现了更复杂的虚拟和混合现实应用。
排序理由 介绍用于模拟人与物体交互新框架的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2604.27491v1 Announce Type: new Abstract: Modeling 4D human-object interaction (HOI) is a compelling challenge in computer vision and an essential technology powering virtual and mixed-reality applications. While existing works have achieved promising results on specific HO…
Modeling 4D human-object interaction (HOI) is a compelling challenge in computer vision and an essential technology powering virtual and mixed-reality applications. While existing works have achieved promising results on specific HOI tasks-such as text-conditioned HOI generation …