PulseAugur
中
实时 08:05:26
English(EN) YOMI-Bench: A Benchmark for Evaluating Kanji Reading and Phonological Understanding of LLMs for Japanese

新的YOMI-Bench基准揭示大型语言模型在日语汉字方面表现不佳

作者 PulseAugur 编辑部 · [2 个来源] ·

一个名为YOMI-Bench的新基准已被开发出来，用于评估大型语言模型（LLMs）在日语汉字读音和语音理解方面的能力。该基准的创建是因为日语汉字可能有多种读法，这使得LLMs进行准确推断具有挑战性。使用YOMI-Bench进行的评估显示，无论是特定于日语的LLMs还是商业LLMs，在需要理解汉字读音的任务上表现均不佳。 AI

影响 凸显了当前大型语言模型在细微语言任务方面的局限性，可能推动更具文化意识的语言模型的开发。

排序理由 该集群描述了一个用于评估大型语言模型的新学术基准，已在arXiv上发布。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的YOMI-Bench基准揭示大型语言模型在日语汉字方面表现不佳

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Ryota Mibayashi, Hiroya Takamura, Hitomi Yanaka ·

    YOMI-Bench: A Benchmark for Evaluating Kanji Reading and Phonological Understanding of LLMs for Japanese

    arXiv:2607.00664v1 Announce Type: new Abstract: We propose YOMI-Bench, a benchmark for evaluating kanji reading and phonological understanding of large language models (LLMs) for Japanese. In Japanese, a single kanji character often has multiple possible readings, making it diffi…

  2. arXiv cs.CL TIER_1 English(EN) · Hitomi Yanaka ·

    YOMI-Bench：用于评估大型语言模型日语汉字阅读和语音理解能力的基准测试

    We propose YOMI-Bench, a benchmark for evaluating kanji reading and phonological understanding of large language models (LLMs) for Japanese. In Japanese, a single kanji character often has multiple possible readings, making it difficult to infer the correct reading from surface-l…

相关实体

相关话题