研究人员开发了ExecJudges,一种使用LLM生成可执行程序进行信息检索相关性标注的新颖方法。该方法旨在用更具可扩展性、可解释性和可复现性的基于程序的方法来替代昂贵且不透明的LLM裁判。ExecJudges在与人类评估者的_一致性_方面,表现出与LLM裁判相当或更优的水平,且每个主题的成本极低。 AI
影响 为信息检索系统中的相关性标注提供了比LLM裁判更具成本效益和可复现性的替代方案。
排序理由 该集群描述了一篇学术论文中提出的用于改进信息检索评估的新颖方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →