新基准套件评估大语言模型在吉尔吉斯语上的理解能力

研究人员开发了KyrgyzLLM-Bench，这是一个旨在评估大语言模型（LLMs）在吉尔吉斯语上表现的新基准套件。该套件包括了本地创作的数据集，如KyrgyzMMLU和KyrgyzRC，以及已建立基准的翻译版本，如WinoGrande和TruthfulQA。研究评估了26个LLMs，结果显示，对于WinoGrande和BoolQ等任务，模型排名通常会从英语迁移到吉尔吉斯语，但HellaSwag由于翻译的痕迹可能存在显著的性能差距。研究结果还表明，少样本提示（few-shot prompting）在不同模型类型和任务上的益处不一致。 AI

影响 该基准旨在改善对资源较少语言的LLMs的评估，可能带来更公平的人工智能开发和部署。

排序理由 该集群描述了一个针对特定语言的新学术基准套件，属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• BoolQ
• HellaSwag
• KyrgyzLLM-Bench
• KyrgyzMMLU
• KyrgyzRC
• TruthfulQA
• WinoGrande

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →