PulseAugur
中
实时 13:08:05
English(EN) NOLLI: A Difficulty-Calibrated Puzzle Benchmark for Diagnosing the English-Korean Performance Gap

新的NOLLI基准揭示英语-韩语大型语言模型性能差距

作者 PulseAugur 编辑部 · [3 个来源] ·

研究人员开发了NOLLI，一个旨在查明英语和韩语语言模型之间性能差异的新基准。该基准包含15种谜题类型和7,500个项目，其难度通过行为而非规模进行校准。初步评估表明，虽然直接翻译显示出最小的语言相关差距，但涉及书写系统的任务，例如韩语密码，揭示了显著的性能差异，落后英语高达68.7个百分点。 AI

影响 该基准可以帮助开发人员识别和解决大型语言模型在处理韩语时的特定弱点，从而可能带来更公平的跨语言人工智能能力。

排序理由 该集群描述了一篇介绍用于评估语言模型的新颖基准的学术论文。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →

新的NOLLI基准揭示英语-韩语大型语言模型性能差距

报道来源 [3]

  1. arXiv cs.CL TIER_1 English(EN) · Dasol Choi, Joonyong Park, Daegon Yu, Soo Yong Kim, Youngsook Song, Seunghyeok Hong ·

    NOLLI：一个难度校准的谜题基准，用于诊断英语-韩语性能差距

    arXiv:2608.04397v1 Announce Type: new Abstract: We introduce NOLLI, a procedurally generated English-Korean puzzle benchmark designed to diagnose where Korean performance gaps arise. It comprises 15 puzzle types (25 tasks; 7,500 items), with every instance seed-regenerable, verif…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    NOLLI：一个难度校准的谜题基准，用于诊断英语-韩语性能差距

    We introduce NOLLI, a procedurally generated English-Korean puzzle benchmark designed to diagnose where Korean performance gaps arise. It comprises 15 puzzle types (25 tasks; 7,500 items), with every instance seed-regenerable, verified to have a unique solution, and scored determ…

  3. Hugging Face Daily Papers TIER_1 English(EN) ·

    NOLLI：一个难度校准的谜题基准，用于诊断英语-韩语性能差距

    We introduce NOLLI, a procedurally generated English-Korean puzzle benchmark designed to diagnose where Korean performance gaps arise. It comprises 15 puzzle types (25 tasks; 7,500 items), with every instance seed-regenerable, verified to have a unique solution, and scored determ…

相关实体

相关话题