Retrieval-augmented methods

新基准 {\dataset} 挑战 LLM 图推理能力

研究人员开发了一个名为 {\dataset} 的新颖框架，为评估大型语言模型 (LLM) 的图推理能力创建了一个更全面的基准。该框架通过扩展图大小、任务复杂性、任务描述、图加载和任务来源五个维度的覆盖范围，并利用基于 LLM 的生成器进行任务创建和人工验证，从而解决了现有基准的局限性。使用此基准进行的初步实验显示，当前微调模型在泛化方面存在困难，而检索增强方法在不同推理模式下表现各异。