IslamicTurathBench

新基准数据集评估大语言模型在伊斯兰学术传统方面的能力

研究人员开发了IslamicTurathBench (ISTB)，一个旨在评估大语言模型 (LLMs) 在理解古典伊斯兰学术方面的能力的新数据集。ISTB包含3,465个问答项，这些问答项来源于35部公认的学术著作，涵盖了12个多世纪和伊斯兰研究中的七个关键领域。该数据集旨在评估LLMs在不同学术需求级别和各种任务格式下的表现，包括选择题、段落理解和开放式知识问答，以期全面了解模型在这一专业领域的性能。