新型多模态LLM在无词汇手语翻译方面达到最先进水平

研究人员开发了ViPo-MLLM，一个新颖的多模态大型语言模型，用于无词汇手语翻译。该框架整合了时空RGB数据和人体姿态特征，采用专用的编码器处理模态内动力学，并利用跨模态注意力处理长距离依赖。ViPo-MLLM在PHOENIX14T和CSL-Daily数据集上取得了新的最先进成果，展示了与基于词汇的方法相比具有竞争力的性能。 AI

影响 推动了无词汇手语翻译的进步，可能提高聋哑和听力障碍社群的可及性。

排序理由 详细介绍新模型和基准结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• Ahmed Abul Hasanaath
• alphaXiv
• arXiv
• CatalyzeX
• CSL-Daily
• DagsHub
• Gotit.pub
• Hugging Face
• PHOENIX14T
• ScienceCast
• ViPo-MLLM

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →