Rasch measurement theory

Rasch测量理论为大型语言模型评估提供新框架

一篇新的研究论文提出应用Rasch测量理论（RMT）来更好地评估大型语言模型（LLMs）。该论文认为，标准的评估实践常常忽略了影响LLM性能的关键因素。通过采用RMT，该理论可以将评分分解为可分离的方面，研究人员可以识别校准不当的测量和评估者偏见。一项使用“测量仇恨言论”语料库的案例研究表明，在严重程度、项目校准和量表使用等方面，LLMs与人类评估者相比表现出系统性差异，而这些差异通常被传统的评估方法所掩盖。