NanoBEIR

新方法校准LLM判断，以改进文档重排评估

研究人员开发了一种名为Rubric-Calibrated Preferences (RCP) 的新方法，以改进文档重排系统的评估。传统的nDCG等指标在处理人类提供的相关性标签的局限性方面存在困难。RCP结合了LLM在查询内的相对判断和来自评分标准的绝对标准，利用项目反应理论在不同查询之间创建统一的量表。这种称为RCP-nDCG的方法比标准方法生成更准确、更具可比性的相关性概率，显示出与人类判断的相关性有所提高，并能更好地区分不同的重排系统。