DualAlign框架通过多模态融合增强动作质量评估

研究人员开发了DualAlign，一个新颖的两阶段框架，旨在通过有效融合多模态数据来改进动作质量评估（AQA）。该方法通过首先从RGB、光流和骨骼数据创建稳定的视觉表示，然后整合文本语义，来解决跨模态不对齐和高昂标注成本等挑战。为了测试DualAlign，引入了一个名为MM--JDM的新数据集，其中包含嘈杂和不平衡的多模态数据。实验表明，DualAlign在MM--JDM和其他基准测试上显著优于现有方法，即使在模态缺失或标签稀疏的条件下也是如此。 AI

影响 这项研究通过实现对人类运动质量更准确的评估，有望改进体育运动中的自动评分、技能评估和医疗保健。

排序理由 该集群包含一篇详细介绍用于动作质量评估的新框架和数据集的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• Action Quality Assessment
• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• MM--JDM
• ScienceCast

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →