G-IdiomAlign

新的基准 G-IdiomAlign 解决了大型语言模型中的跨语言习语翻译问题

研究人员推出了 G-IdiomAlign，这是一个旨在评估大型语言模型在不同语言之间对齐习语能力的新基准。该基准使用维基词典的英文词义注释作为枢纽来锚定习语，解决了习语非组合性本质和表面形式基础薄弱带来的挑战。初步测试显示，大型语言模型常常表现出对字面翻译的偏见，尤其是在低资源语言方面，并且使用词义注释可以提高受控生成任务的性能，尽管仍有很大的改进空间。