SignDPO

新方法通过选择性对比学习和偏好优化增强无词汇手语翻译

研究人员开发了新的方法来改进无词汇手语翻译，解决了将视觉手语视频与口语文本对齐的挑战。一种方法，手语翻译的选择性对比学习（SCL-SLT），使用对选择策略来识别和强调训练过程中信息量更大的负面示例，减少来自语义相似对的噪声。另一种方法，SignDPO，采用跨空间、时间、语言维度的多层次直接偏好优化来增强基于骨骼的手语翻译，其性能优于现有的无词汇技术。