研究人员开发了一个名为 {\dataset} 的新颖框架，为评估大型语言模型 (LLM) 的图推理能力创建了一个更全面的基准。该框架通过扩展图大小、任务复杂性、任务描述、图加载和任务来源五个维度的覆盖范围，并利用基于 LLM 的生成器进行任务创建和人工验证，从而解决了现有基准的局限性。使用此基准进行的初步实验显示，当前微调模型在泛化方面存在困难，而检索增强方法在不同推理模式下表现各异。 AI
影响 该基准可能会揭示 LLM 的新局限性，并指导更强大的推理能力的开发。
排序理由 该条目描述了一篇提出 LLM 图推理基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- {\dataset}
- GraphGym
- Graph Reasoning Enhanced Language Models for Text-to-SQL
- Hugging Face
- large language models
- Retrieval-augmented methods
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
