新基准ConlangBench测试大型语言模型对人造语言的理解能力

研究人员推出了ConlangBench，这是一个旨在评估和训练大型语言模型（LLMs）在人造语言（conlangs）方面能力的新型基准。该基准包含超过2100万个人造语言-英语平行句子对和321,000个词汇条目，涵盖21种人造语言。实验表明，大型语言模型在后天人造语言（其词汇源自自然语言）上表现更好，并且当有足够的可用的平行语料库时，模型可以成功学习人造语言，尽管学习曲线因语言的创建方法而异。ConlangBench为研究大型语言模型对低资源语言的习得提供了一个独特的平台。 AI

影响 为评估大型语言模型对语言多样性和低资源语言习得的理解提供了一个新的评估框架。

排序理由 该条目描述了一篇介绍用于评估大型语言模型在人造语言方面能力的基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• ConlangBench
• DagsHub
• English
• Esperanto
• Gotit.pub
• Hugging Face
• LLMs
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →