PulseAugur
实时 12:55:13
English(EN) EgoEV-HandPose: Egocentric 3D Hand Pose Estimation and Gesture Recognition with Stereo Event Cameras

新框架提升自上而下相机的3D手部姿态估计

研究人员开发了两个新框架,用于改进自上而下相机视图的3D手部姿态估计。EgoForce利用可微分的前臂表示和统一的Transformer,在各种相机类型上实现了最先进的精度,MPJPE降低高达28%。另一方面,EgoEV-HandPose采用立体事件相机和新颖的KeypointBEV融合模块,联合估计双手机械手姿态并识别手势,实现了30.54mm的MPJPE和86.87%的手势识别准确率。这两种方法旨在通过提供更鲁棒和准确的手部跟踪来增强AR/VR和人机交互中的应用。 AI

影响 这些在自上而下手部跟踪方面的进展可以显著提高AR/VR体验和人机界面的真实感和交互性。

排序理由 arXiv上发表了两篇研究论文,详细介绍了3D手部姿态估计的新方法。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新框架提升自上而下相机的3D手部姿态估计

报道来源 [2]

  1. arXiv cs.CV TIER_1 English(EN) · Alain Pagani ·

    EgoForce:单目自摄相机的前臂引导相机空间3D手部姿态估计

    Reconstructing the absolute 3D pose and shape of the hands from the user's viewpoint using a single head-mounted camera is crucial for practical egocentric interaction in AR/VR, telepresence, and hand-centric manipulation tasks, where sensing must remain compact and unobtrusive. …

  2. arXiv cs.CV TIER_1 English(EN) · Kaiwei Wang ·

    EgoEV-HandPose:使用立体事件相机进行自我中心3D手部姿态估计和手势识别

    Egocentric 3D hand pose estimation and gesture recognition are essential for immersive augmented/virtual reality, human-computer interaction, and robotics. However, conventional frame-based cameras suffer from motion blur and limited dynamic range, while existing event-based meth…