Vaibhav Alakshmi Ravideshik

LLM 评估器在实体对齐评估中表现出锚定偏见

Vaibhav Alakshmi Ravideshik 的一项新研究探讨了使用大型语言模型 (LLM) 作为评估实体对齐 (EA) 系统的评估器的可靠性。研究发现，LLM 评估器可能表现出“锚定偏见”，即当决策标签可见时，其性能会下降。无标签协议显著提高了评估器的可靠性，尤其是在生物医学数据集上。研究还观察到一个悖论，即能力更强的 LLM 对标签暴露的敏感性更高。