Query-Relevance-Impressions (QRI) card

LLM搜索评估通过历史用户数据得到改进 · arXiv

研究人员开发了一种使用大型语言模型（LLM）评估搜索引擎结果的新方法，该方法整合了历史用户交互数据。这种“基于行为”的方法使用查询相关性印象（QRI）卡来为LLM提供经验证据，从而提高它们将相关性判断与实际用户偏好保持一致的能力，尤其是在处理模糊或长尾查询时。在Spotify进行的评估中，该方法将与用户偏好的匹配度提高了约5%，并在解决分歧案例方面显示出91%的相对改进。该方法在多语言数据集上与人类判断的相关性更强，并且与实际A/B测…