研究人员开发了一种新颖的方法，利用大型语言模型（LLM）来增强手语翻译（SLT）数据集。该方法通过从现有的词汇注释语料库中提取片段，并使用LLM创建新的句子词汇，来生成合成的视频-文本对。合成数据显著提高了SLT性能，在基线之上实现了2.92的BLEU-4增益，而无需额外的人工标注或生成式视频模型。研究还发现，优化片段过渡的视觉平滑度可能适得其反，表明突然的边界可能提供隐式正则化。 AI
影响 通过创建更大、更多样化的训练数据集来增强手语翻译能力，可能提高聋哑和听力障碍社区的可及性。
排序理由 学术论文，详细介绍了手语翻译语料库增强的新方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2606.11925v1 Announce Type: cross Abstract: Sign language translation (SLT) converts sign language video into spoken language text and holds significant promise for improving accessibility and enabling communication between signing and non-signing communities. While large w…
Sign language translation (SLT) converts sign language video into spoken language text and holds significant promise for improving accessibility and enabling communication between signing and non-signing communities. While large weakly-aligned datasets have enabled pre-training a…