研究人员开发了Gaze2HOI,一个旨在预测增强现实和虚拟现实环境中人类手部-物体交互的新型框架。该系统利用注视模式,特别是注视强度和近期性,来消除用户意图歧义并优化预测。Gaze2HOI将这些注视线索整合到视觉-语言模型中,并使用一个预期接触定位模块将意图映射到明确的接触和放置区域,从而提高几何精度。该框架最终采用一个基于扩散的模型,该模型联合生成手部和物体轨迹,在名为EgoAIM的新基准上展示了最先进的性能。 AI
影响 通过改进对用户与物体交互的预测,增强了AR/VR中的主动辅助功能。
排序理由 该集群描述了一篇详细介绍AR/VR中人类-物体交互预测新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Anticipatory Contact Grounding
- arXiv
- augmented reality
- EgoAIM
- Gaze2HOI
- Hugging Face
- Temporal Gaze Saliency Modulation
- virtual reality
- vision-language model
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →