RAG24

LLMs作为IR评估者显示出对Persona条件化的结构化敏感性

一篇新研究论文探讨了使用Persona条件化来评估大型语言模型（LLMs）在信息检索（IR）评估中作为相关性评估者的敏感性。通过在六个LLM骨干和两个数据集（TREC DL20和RAG24）上实例化五个不同的评估者角色，研究发现LLM的判断表现出结构化敏感性而非均匀变化。虽然高容量模型保持了系统排名的一致性，但较小模型放大了Persona引起的波动，敏感性集中在特定的检索系统上。