研究人员开发了EgoHand,这是一种新颖的单目3D手部重建模型,专为第一人称视角视频设计。该模型通过利用包含1400万张图像的大型训练数据集,结合了合成数据、野外视频和运动捕捉数据,实现了最先进的性能。EgoHand采用了SOMA-Hand参数化表示和Transformer编码器,并通过相机线索和辅助2D分支进行增强,以提高几何一致性。评估结果显示其具有强大的泛化能力,并且用户偏好优于Apple EgoDex等现有模型,推理延迟约为9.69毫秒。 AI
影响 该模型可以通过在第一人称视角视频中实现更准确、响应更快的手部跟踪,从而改进增强现实和人机交互。
排序理由 这是一篇详细介绍新型3D手部重建模型的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →