Pietro Bernardelle

LLMs 将相关性在内部编码为逐层跨语言信号

研究人员调查了大型语言模型（LLMs）如何在内部表示查询-文档相关性，而不仅仅是评估它们的输出分数。他们发现相关性被编码为 LLMs 中的逐层信号，在 Transformer 的中间层到后期层中变得更易于线性访问。这种内部表示有时可以优于生成的相关性判断，并更好地保留系统排名，这表明 LLMs 内部理解相关性的方式与其表达方式之间存在差异。研究还发现，这种相关性信号具有部分跨语言可迁移性，尽管其强度仍弱于语言内解码。