Kaiyan Zhao

新基准评估中文社交媒体俚语的机器翻译

研究人员开发了CSM-MTBench，一个旨在评估中文社交媒体文本机器翻译（MT）系统的新基准。该基准解决了俚语和新词的快速演变等挑战，以及COMET等传统指标在捕捉风格细微差别方面的局限性。CSM-MTBench包含两个精选子集，“趣味帖子”和“社交片段”，并采用量身定制的评估方法，分别评估俚语翻译和语气保留。使用此基准进行的实验揭示了当前MT系统在处理非正式、社交媒体特定内容时存在显著的性能差异。