Uni-SLTP

新框架统一手语翻译与生成

研究人员开发了Uni-SLTP，一个旨在将手语翻译（SLT）和手语生成（SLP）统一在单一系统中的新颖框架。与之前主要将手语映射到文本的SLU任务不同，这种方法解决了手语动作和文本之间双向映射的挑战。Uni-SLTP利用共享的手语分词器将手语序列转换为捕获语义和重建信息的离散标记，并使用统一的自回归模型进行生成。在公开数据集上的实验表明，Uni-SLTP在保持SLT竞争性性能的同时，实现了高运动精度（SLP）。