TransHands

新框架重新利用人体运动数据以改进 3D 手部姿态估计

研究人员开发了 TransHands，一个新颖的迁移学习框架，旨在从 2D 输入改进 3D 手部姿态估计。该方法重新利用从广泛人体姿态数据集中学习到的运动表示，解决了大规模、3D 注释手部数据稀缺的问题。TransHands 采用两阶段训练和微调策略，包含一个轻量级模块以将手部运动学与全身运动表示对齐。在包括 transformer 和基于图的模型在内的各种架构上的评估显示，准确性持续提高且泛化能力强，尤其是在具有挑战性的自我中心场景中。