Many-Facet Rasch Models

研究发现，LLM裁判在评估难度上与人类存在差异

一篇新发表在arXiv上的研究探讨了使用大型语言模型（LLMs）作为摘要评估裁判的应用。研究人员发现，尽管LLMs在总体评分上可能与人类一致，但它们并不一定认为相同的评估案例具有难度。这项使用Many-Facet Rasch模型对SummEval数据集进行的心理测量学分析表明，人类和LLM裁判在不同摘要维度上表现出不同的难度模式，在一致性评估中，LLMs倾向于“LLM难”的案例，而人类在连贯性评估中则偏好“人类难”的案例。