Grounding Integration Measure

GIM基准测试在整合认知任务上评估LLM

研究人员推出了Grounded Integration Measure (GIM)，这是一个旨在通过整合多个认知域来评估大型语言模型的新基准。GIM包含820个原创问题，需要对可访问的知识进行各种认知操作的协调，旨在评估基于现实任务的推理，而不是纯粹的记忆或抽象推理。该基准包括一个公共-私有划分，用于污染诊断，并利用在28个模型超过200,000个提示-响应对上校准的IRT模型来生成强大的能力估计和全面的排行榜。