Knowledge editing and maintenance tools for a semantic portal in oncology
PulseAugur coverage of Knowledge editing and maintenance tools for a semantic portal in oncology — every cluster mentioning Knowledge editing and maintenance tools for a semantic portal in oncology across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的 FOVEATED 框架改进了知识编辑后 LLM 的原子事实回忆能力
研究人员开发了一个名为 FOVEATED 的新框架，以改进大型语言模型 (LLM) 在知识编辑后从非结构化文本中回忆原子事实的能力。现有方法经常依赖上下文，模型只能在原始编辑段落存在时才能回忆事实。FOVEATED 通过在编辑过程中创建句子的聚焦视图来解决这个问题，使用一种暂时移动旋转位置嵌入 (RoPE) 位置的技术。这种方法有助于抵消难度低估，从而在不改变模型推理时编码的情况下实现更可靠的事实回忆。
-
新框架选择性地反转大型语言模型中的知识编辑
研究人员开发了一种新的基于谱系的方法，可以选择性地反转大型语言模型中的知识编辑。该方法旨在撤销特定的、不希望发生的事实更改，同时保留其他有益的编辑。该方法假设编辑稀疏地编码在主导奇异子空间中，并使用谱系分析来识别和移除编辑敏感的组件，使其不被编辑的权重影响。实验表明，该技术可以有效地反转目标编辑，而不影响不相关的信息，这为修复和维护语言模型提供了一个有前途的方向。
-
新的白盒攻击方法利用知识编辑来针对大型语言模型
研究人员开发了一种新的针对大型语言模型（LLM）的白盒攻击方法，该方法利用知识编辑技术。这种方法修改了现有的编辑框架，以整合直接从模型中检索到的关联知识，从而能够针对更广泛的主题类别进行攻击，而不仅仅是预定义的提示。实验表明，与以前的技术相比，该方法更有效，同时没有显著降低LLM的整体性能。
-
新的 HPSE 方法通过自蒸馏增强 LLM 知识编辑
研究人员开发了一种名为混合策略自编辑 (HPSE) 的新方法，以改进大型语言模型 (LLM) 在不影响不相关信息的情况下更新其知识的方式。现有方法在非结构化知识编辑方面存在困难，在这种情况下，编辑是自由形式的文本段落，导致模型可以回忆起该段落但无法推理其事实。HPSE 通过使用自蒸馏过程来解决这个问题，该过程会主动将缺失的事实注入模型的推理路径，从而增强其组合信息和回答复杂问题的能力。这种方法在各种 LLM 主干和编辑场景中都显示出了改进。
-
新基准揭示大语言模型知识编辑缺乏逻辑推理能力
研究人员开发了一个新的基准来评估大语言模型中的知识编辑，重点关注逻辑推论而非直接事实回忆。该基准使用从知识图中提取的逻辑规则生成多跳问题，揭示当前编辑方法难以整合蕴含的知识。实验显示，直接断言编辑与处理逻辑含义之间的性能差距高达24%，凸显了对更具语义意识的评估框架的需求。
-
新方法应对LLM中复杂的知识编辑问题
两篇新的研究论文介绍了大型语言模型知识编辑的先进方法，解决了更新复杂、长篇信息这一挑战。HyperPatch通过将顺序编辑视为超图流形上的稳定性问题来处理“n元结构漂移”，在基准测试中实现了显著的准确性提升。AnyEdit++使用贝叶斯惊喜来适应性地分割长篇内容，确保结构感知和因果局部性，从而实现更鲁棒的知识更新。