GIScholarBench

大语言模型在地理信息科学研究任务中表现出持续的过度自信

一个名为GIScholarBench的新基准已被开发出来，用于评估地理信息科学（GIS）研究中大语言模型的过度自信。该基准包含10,865篇论文，测试模型在元数据检索、文献关联和研究方向生成方面的能力。对Claude Sonnet 4.5、Gemini 3和ChatGPT 5.3的评估显示，所有任务中都存在持续的过度自信，表现为事实过度生成、不可靠的引用扩展以及对输出完整性的过度自信。