一篇新的研究论文发现,用于评估机器翻译质量的 COMET 指标存在显著的书写系统偏差。研究表明,COMET 分数可能因用于表示目标语言的书写系统而有很大差异,而不仅仅反映翻译的准确性。研究人员提出 COMET-QN 作为一种解决方案,以在不同书写系统之间标准化分数,提高与人工标注者的一致性,并使跨书写系统的比较更加可靠。 AI
影响 解决了机器翻译评估中的一个关键缺陷,有望带来更准确、更可靠的跨语言评估。
排序理由 在 arXiv 上发表的研究论文,详细介绍了对机器翻译评估指标中偏差的诊断和纠正。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →