arXiv 2407.12844

LLM评估方法改编心理测量学理论，以实现更公平的基准测试比较

研究人员开发了一种新的评估大型语言模型（LLM）的方法，该方法改编自心理测量学中的项目反应理论（IRT）。这种方法将每个基准测试视为一个“项目”，并根据LLM在各种基准测试中的表现来模拟其“能力”，同时考虑了基准测试的难度和区分度。这种基于IRT的方法可以实现模型之间更准确的比较，即使它们在不同的基准测试集上进行了评估，从而解决了简单平均法的局限性。