实体
TREC DL20
TREC DL20
PulseAugur coverage of TREC DL20 — every cluster mentioning TREC DL20 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLMs作为IR评估者显示出对Persona条件化的结构化敏感性
一篇新研究论文探讨了使用Persona条件化来评估大型语言模型（LLMs）在信息检索（IR）评估中作为相关性评估者的敏感性。通过在六个LLM骨干和两个数据集（TREC DL20和RAG24）上实例化五个不同的评估者角色，研究发现LLM的判断表现出结构化敏感性而非均匀变化。虽然高容量模型保持了系统排名的一致性，但较小模型放大了Persona引起的波动，敏感性集中在特定的检索系统上。
-
LLMs 将相关性在内部编码为逐层跨语言信号
研究人员调查了大型语言模型（LLMs）如何在内部表示查询-文档相关性，而不仅仅是评估它们的输出分数。他们发现相关性被编码为 LLMs 中的逐层信号，在 Transformer 的中间层到后期层中变得更易于线性访问。这种内部表示有时可以优于生成的相关性判断，并更好地保留系统排名，这表明 LLMs 内部理解相关性的方式与其表达方式之间存在差异。研究还发现，这种相关性信号具有部分跨语言可迁移性，尽管其强度仍弱于语言内解码。