foveated rendering

新的 FOVEATED 框架改进了知识编辑后 LLM 的原子事实回忆能力

研究人员开发了一个名为 FOVEATED 的新框架，以改进大型语言模型 (LLM) 在知识编辑后从非结构化文本中回忆原子事实的能力。现有方法经常依赖上下文，模型只能在原始编辑段落存在时才能回忆事实。FOVEATED 通过在编辑过程中创建句子的聚焦视图来解决这个问题，使用一种暂时移动旋转位置嵌入 (RoPE) 位置的技术。这种方法有助于抵消难度低估，从而在不改变模型推理时编码的情况下实现更可靠的事实回忆。