新框架从RGB面部视频中学习疼痛线索，即使缺少热成像/深度数据

研究人员开发了ReMiX-MAE，一个自监督多模态掩码预训练框架，旨在从同步的RGB、热成像和深度视频中学习面部表示。该框架专门设计用于应对缺失模态的鲁棒性，允许仅使用RGB数据进行部署。为了支持这项研究，收集了一个名为交感神经介导疼痛（SMP）的新数据集，其中包含治疗前后配对的记录。评估表明，ReMiX-MAE在数据有限的临床场景中优于仅RGB的基线，并且在外部数据集上表现出更好的可迁移性。 AI

影响 通过利用易于获取的RGB面部视频，在临床环境中实现更鲁棒、数据更高效的疼痛评估。

排序理由 该集群描述了一篇关于特定AI应用的新研究论文，该论文详细介绍了一个新颖的框架和数据集。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• arXiv
• Hugging Face
• ReMiX-MAE
• RGB color model
• Sympathetic Mediated Pain (SMP) dataset
• Thermal

• 论文
• 模型发布
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →