MM--JDM

DualAlign框架通过多模态融合增强动作质量评估

研究人员开发了DualAlign，一个新颖的两阶段框架，旨在通过有效融合多模态数据来改进动作质量评估（AQA）。该方法通过首先从RGB、光流和骨骼数据创建稳定的视觉表示，然后整合文本语义，来解决跨模态不对齐和高昂标注成本等挑战。为了测试DualAlign，引入了一个名为MM--JDM的新数据集，其中包含嘈杂和不平衡的多模态数据。实验表明，DualAlign在MM--JDM和其他基准测试上显著优于现有方法，即使在模态缺失或标签稀疏的条件下也是如此。