MMLU-Pro-X

新的多语言IRT框架提高了LLM评估效率

研究人员开发了多语言IRT，这是一个新的统计框架，扩展了项目反应理论，以应对评估多种语言大型语言模型的挑战。该方法旨在提高效率，减少翻译错误，并更好地区分通用知识和特定文化知识。通过在29种语言的25个LLM上使用MMLU-Pro-X基准测试拟合多语言IRT，该框架证明了其在预测未观察到的实例、更有效地识别翻译错误以及比传统的基于准确率的基线更好地恢复特定文化项目方面的改进。