研究人员开发了 BLiMP-RO,这是一个旨在评估语言模型在罗马尼亚语方面语法知识的新基准。该基准包含 493 对由语言学家构建的句子和 5,900 多对经过人类验证的额外句子,涵盖 50 种不同的语法现象。使用在罗马尼亚语数据上训练的 GPT-2 和 GPT-BERT 模型进行的实验表明,增加训练数据的数量和质量可显著提高语法泛化能力,其中 BabyBabelLM 数据通常优于视频字幕,而 GPT-BERT 的性能优于 GPT-2。 AI
影响 为评估和改进人工智能模型中的罗马尼亚语理解能力提供了一个专用工具。
排序理由 该集群包含一篇详细介绍用于评估语言模型的新基准的研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →