BackTranslation2.0

新框架推动手语生成与评估的进展

研究人员开发了SIGNER，一个用于从文本生成手语的新框架，该框架解决了时间对齐方面的局限性。通过使用时间解析的条件约束和局部时间融合，SIGNER确保了生成手语的正确词汇顺序和语义准确性。此外，还引入了一个名为BackTranslation2.0的新评估指标来评估手语生成，该指标使用了一个基于代理的框架和基于LLM的交叉引用模块，与以往的方法相比，提供了更具语言学基础的评估。