PHOENIX14-T

新的SMART框架使用MLLM进行手语识别和识别

研究人员开发了SMART，一个利用多模态大语言模型（MLLM）来改进手语识别和识别的新框架。该方法使用MLLM生成的运动描述作为辅助语义线索，并采用适合小批量训练的稳定视频-文本对齐方法。该框架还包含一个用于增强时间表示学习的多尺度时间适配器和一个名为CSFormer的手语识别引导识别模块，用于密集时间定位。在四个基准数据集上的实验证明了SMART在识别和识别任务中的有效性。