English(EN) Building a European Multilingual Evaluation Dataset: The MMLU Localisation Project within the EMT Network

欧洲研究人员本地化MMLU数据集以实现包容性LLM评估

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-22 04:00

研究人员合作将大规模多任务语言理解（MMLU）数据集本地化为11种欧洲语言。该倡议旨在为评估大型语言模型（LLM）创建更具包容性的基准，并为硕士生提供翻译和项目管理的实践培训。该项目还确定了此类多语言工作的研究方法、管理和工作流程方面的重大挑战。 AI

影响通过提供多语言基准来增强LLM评估，可能导致更公平的模型开发。

排序理由该集群包含一篇详细介绍为LLM评估创建新数据集的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Pilar S\'anchez-Gij\'on, Susana Valdez, Sof\'ia Calvo Del Barrio, Florence Bellemont, Anna Kokkinidou, Mihai Cristian Brasoveanu · 2026-07-22 04:00

构建欧洲多语言评估数据集：EMT网络内的MMLU本地化项目

arXiv:2607.18432v1 Announce Type: new Abstract: This paper reports on a collaboration between the Directorate-General for Translation (DGT) and the European Master's in Translation (EMT) to localise the MMLU dataset into 11 European languages. Beyond creating a more inclusive ben…