G-IdiomAlign

新的基准 G-IdiomAlign 解决了大型语言模型中的跨语言习语翻译问题

研究人员推出了 G-IdiomAlign，这是一个旨在评估大型语言模型在不同语言中对齐习语能力的新基准。该基准使用维基词典的英文注音作为枢纽来锚定习语，解决了习语非组合性及其表面形式基础薄弱带来的挑战。初步测试显示，大型语言模型常常表现出字面翻译的倾向，尤其是在低资源语言方面，并且使用注音可以提高受控生成任务的性能，尽管仍有很大的改进空间。