HardMTBench

新基准HardMTBench对中英翻译进行压力测试

研究人员推出了HardMTBench，这是一个旨在评估中英机器翻译系统在知识密集型领域表现的新基准。FLORES-200等现有基准已饱和，大多数大型语言模型得分相似且都很高。HardMTBench通过涵盖12个领域并使用基于LLM的评估器来评估翻译难度、术语和知识密度来解决这一问题。这个新基准拓宽了系统之间的性能差距，并揭示了先前指标所忽略的特定领域弱点。