新的LOKI方法增强了语言模型的终身知识编辑能力

研究人员开发了LOKI，一种用于语言模型终身知识编辑的新方法，旨在高效地用新信息更新模型，同时保留过去的知识。与修改固定层的先前方法不同，LOKI使用希尔伯特-施密特独立性准则动态选择层，并将梯度更新投影到模型权重的零空间中。这种方法无需访问先前知识或进行广泛的预处理，在各种实验中平均准确率提高了14%。 AI

影响 这种新方法可能带来更具适应性和效率的语言模型，这些模型可以在没有显著性能下降的情况下持续更新。

排序理由 该集群包含一篇详细介绍语言模型知识编辑新方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX Code Finder for Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hilbert-Schmidt Independence Criterion
• Hugging Face
• IArxiv Recommender
• Influence Flower
• LOKI
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →