一项新研究 Rel-Bloom 评估了多语言大语言模型在提示中提供的关系知识上进行推理的能力,而不是依赖于记忆关联。研究发现,虽然 Gemini 等模型在大多数任务上表现良好,但开放权重模型在更高推理级别(分析和评估)上的准确性显著下降。关系和项目的难度排名在不同语言之间保持一致,表明存在共享的底层结构。研究还表明,反事实情境通常更难,并且移除实体身份有时可以提高某些模型机制下的性能,这表明更强的能力并不自动保证可靠的关系推理。 AI
影响 强调了当前大语言模型在关系推理方面的局限性,为未来模型开发和评估指明了方向。
排序理由 学术论文,详细介绍了新的基准测试及其在大语言模型推理能力方面的发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →