Mixture-of-View

SkillMoV框架增强多视角视频技能估计

研究人员开发了SkillMoV，一个用于从多视角视频估计人类熟练度的新颖框架。该参数高效系统利用了混合视角投影仪（MoVP），该投影仪将混合专家范式应用于不同的摄像机视角。SkillMoV结合了软路由、跨视角注意力、原型锚定和门控投影来生成技能嵌入。在EgoExo4D数据集上进行评估时，SkillMoV在Exos设置中实现了50.17%的总体准确率，以单一、联合训练的模型，比现有方法提高了3.57个百分点。