研究人员开发了一种从广播新闻字幕中学习手语表示的方法,由于口语和手语之间的对齐松散,这些字幕提供了弱监督。这种方法对于土耳其语等资源受限的语言尤其有益,因为密集的语言标签成本高昂。通过结合基于规则和LLM辅助的规范化,他们在TSL-News语料库上预训练了一个可重用的手语编码器。该编码器显著提高了跨数据集手语识别的性能,将时间定位的平均IoU从0.235提高到0.465,并增强了下游翻译任务。 AI
影响 这项研究展示了一种利用弱监督进行手语理解的新颖方法,有可能为资源匮乏的语言提供更易于访问的手语技术。
排序理由 学术论文,详细介绍了一种新的表示学习方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →