Jun-Yu Ma

新基准揭示大型语言模型在双向知识编辑方面存在困难

研究人员引入了一个名为BAKE（Bidirectional Assessment for Knowledge Editing）的新基准，用于评估大型语言模型保留编辑后信息的能力。研究发现，虽然模型可以回忆新插入的事实，但它们常常无法正确回忆编辑的反向信息。这种“逆转诅咒”凸显了当前模型编辑技术的一个重大缺陷，即使在使用如上下文学习（In-Context Learning）等方法时，这些方法虽然有所缓解，但仍存在局限性。