HPSE

新的 HPSE 方法通过自蒸馏增强 LLM 知识编辑

研究人员开发了一种名为混合策略自编辑 (HPSE) 的新方法，以改进大型语言模型 (LLM) 在不影响不相关信息的情况下更新其知识的方式。现有方法在非结构化知识编辑方面存在困难，在这种情况下，编辑是自由形式的文本段落，导致模型可以回忆起该段落但无法推理其事实。HPSE 通过使用自蒸馏过程来解决这个问题，该过程会主动将缺失的事实注入模型的推理路径，从而增强其组合信息和回答复杂问题的能力。这种方法在各种 LLM 主干和编辑场景中都显示出了改进。