研究人员开发了一种名为分割、嵌入和对齐（SEA）的新方法，用于通用地将字幕与手语视频对齐。与之前特定于语言或数据集的方法不同，SEA使用预训练模型来分割手语并将其与文本嵌入到共享空间中。该框架可以适应各种场景，并在多个手语数据集上展示了最先进的性能，其代码和模型已公开提供。 AI
影响 能够更有效地创建手语处理的平行数据，可能加速该领域的研究和开发。
排序理由 该集群包含一篇学术论文，详细介绍了将字幕与手语视频对齐的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →