Body-Region Grounding (BRG) Recall

新的 GMoT 模块增强了 LLM 在微手势视频分析方面的能力

研究人员开发了 GMoT，这是一个新颖的标记化模块，旨在增强多模态大语言模型（MLLMs）识别视频中细微微手势的能力。GMoT 通过识别与动作相关的区域并分析帧差异来提取运动学证据，然后将此运动数据融合到视觉流中。该框架还包含了一个渐进式奖励引导策略精炼和用于证据基础推理的半监督标注流程。GMoT 在 iMiGUE 和 SMG 等数据集上展示了更高的准确性，优于基线模型，并显示出更好的跨领域迁移能力。