BGM2Pose

新方法利用背景音乐进行3D人体姿态估计

研究人员开发了BGM2Pose，一种利用环境音乐作为主动传感信号来估计3D人体姿态的新颖方法。该方法通过利用音量和音高变化的自然音乐，克服了现有方法需要侵入性声音信号的局限性。BGM2Pose采用对比学习模块来分离姿态信息和音乐成分，并采用频率注意力模块来关注由人体运动引起的细微声学变化。实验表明，BGM2Pose在准确性上超越了现有方法，为实际应用带来了希望。