Large Granite

新基准 Rel-Bloom 揭示大语言模型在关系知识推理方面的差距

一项新研究 Rel-Bloom 评估了多语言大语言模型在提示中提供的关系知识上进行推理的能力，而不是依赖于记忆关联。研究发现，虽然 Gemini 等模型在大多数任务上表现良好，但开放权重模型在更高推理级别（分析和评估）上的准确性显著下降。关系和项目的难度排名在不同语言之间保持一致，表明存在共享的底层结构。研究还表明，反事实情境通常更难，并且移除实体身份有时可以提高某些模型机制下的性能，这表明更强的能力并不自动保证可靠的关系推理。