研究人员调查了大型语言模型（LLMs）如何在内部表示查询-文档相关性，而不仅仅是评估它们的输出分数。他们发现相关性被编码为 LLMs 中的逐层信号，在 Transformer 的中间层到后期层中变得更易于线性访问。这种内部表示有时可以优于生成的相关性判断，并更好地保留系统排名，这表明 LLMs 内部理解相关性的方式与其表达方式之间存在差异。研究还发现，这种相关性信号具有部分跨语言可迁移性，尽管其强度仍弱于语言内解码。 AI
影响 为信息检索中的 LLM 推理提供了见解，可能提高模型的可解释性和相关性评估。
排序理由 学术论文，详细介绍了 LLM 内部表示的新研究发现。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
