entity lens

新的“实体透镜”可预测LLM关系解码能力

研究人员开发了一种名为“实体透镜”（entity lens）的新方法，用于预测线性关系嵌入（LREs）在多大程度上可以近似语言模型的主语到宾语的映射。该方法在OLMo 3 7B模型上进行了测试，发现模型解码关系的能力在很大程度上取决于主语表示中已有的信息，而不是具体的关系本身。研究表明，由于语义较弱的首个词元和名称相似的实体之间的竞争等问题，现有的关系数据集可能需要修订。