PulseAugur
中
实时 16:38:50
English(EN) Can LLM Rerankers Predict Their Own Ranking Performance?

研究发现：大型语言模型（LLM）可以预测自身的排名表现

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了让大型语言模型（LLM）在不使用外部工具的情况下预测自身排名表现的方法。该研究探讨了免训练和基于训练的方法，考察了样本排名中的自洽性以及直接语言化置信度。在TREC深度学习数据集上的实验表明，自洽性在性能上可与现有最先进方法相媲美，并且具有更好的校准性，而直接语言化置信度则倾向于过度自信。 AI

影响 这项研究通过让大型语言模型（LLM）能够自我评估其排名质量，有望提高信息检索系统的效率。

排序理由 该集群包含一篇详细介绍新研究发现的学术论文。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Shiyu Ni, Keping Bi, Jiafeng Guo, Jingtong Wu, Zengxin Han, Xueqi Cheng ·

    Can LLM Rerankers Predict Their Own Ranking Performance?

    arXiv:2606.03535v1 Announce Type: cross Abstract: Retrieval effectiveness varies substantially across queries, making it important to estimate ranking quality before relevance judgments are available. Query performance prediction (QPP) addresses this need, but most existing metho…

  2. arXiv cs.CL TIER_1 English(EN) · Xueqi Cheng ·

    LLM重排模型能否预测自身的排名表现？

    Retrieval effectiveness varies substantially across queries, making it important to estimate ranking quality before relevance judgments are available. Query performance prediction (QPP) addresses this need, but most existing methods rely on external predictors after retrieval or …

相关实体

相关话题