研究人员发现多模态大语言模型（MLLMs）在知识编辑方面存在一个显著问题，称为“编辑解耦失败”。当对MLLM的知识进行更新后，在配对的多模态输入（如文本和图像）下更新有效，但在仅有单模态输入（仅文本或仅图像）时，模型会恢复到旧信息。这个问题源于知识分布在模态特定的通路中，而不是统一的。为了解决这个问题，提出了一种名为DECODE的新方法，旨在解耦和定位这些模态特定的神经元组，以便在不同输入类型下进行更具针对性和有效的知识更新。 AI
影响 这项研究可能有助于提高多模态人工智能系统中知识更新的鲁棒性和可靠性，从而提高其在不同输入格式下的准确性和一致性。
排序理由 该集群基于一篇发表在arXiv上的学术论文，详细介绍了一种改进MLLMs的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →