研究人员开发了SignBind-LLM,一个旨在提高手语翻译(SLT)准确性的新型模块化框架。该系统利用三个专门的专家流进行连续手语、指语拼写和唇读,每个专家流都经过独立预训练,以避免手动标注词汇。然后,一个Transformer模型融合这些专家输出,并使用预训练的语言模型将结果转换为流畅的英语。SignBind-LLM在How2Sign、BOBSL和ChicagoFSWild+等基准测试中表现出色,取得了最先进的成果,并且与以往的方法相比,训练成本更低。 AI
影响 这项研究推进了手语翻译能力,可能提高聋哑和听障人士的可及性。
排序理由 该集群包含一篇详细介绍新模型架构和基准测试结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →