K12-Bench

新的K-12知识图谱基准测试大型语言模型课程认知

研究人员开发了K12-KGraph，一个新颖的知识图谱，旨在专门评估和训练K-12教育领域的大型语言模型（LLMs）。该图谱源自官方教材，捕捉了课程结构，包括先决条件和概念关系，超越了简单的事实回忆。为了支持这一点，他们创建了K12-Bench（一个包含23,640个问题的基准测试集）和K12-Train（一个微调数据集）。实验表明，当前的大型语言模型在课程认知方面存在困难，而K12-Train数据集在教育基准测试上显著提高了性能，且样本效率高。