Sincan et al.

LLM通过合成视频数据提升手语翻译

研究人员开发了一种新颖的方法，利用大型语言模型（LLM）来增强手语翻译（SLT）数据集。该方法通过从现有的词汇注释语料库中提取片段，并使用LLM创建新的句子词汇，来生成合成的视频-文本对。合成数据显著提高了SLT性能，在基线之上实现了2.92的BLEU-4增益，而无需额外的人工标注或生成式视频模型。研究还发现，优化片段过渡的视觉平滑度可能适得其反，表明突然的边界可能提供隐式正则化。