AlphaEdit
PulseAugur coverage of AlphaEdit — every cluster mentioning AlphaEdit across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
FedAlphaEdit框架实现LLM知识的协同编辑
研究人员开发了FedAlphaEdit，一个用于大型语言模型协同知识编辑的新框架。该方法解决了将现有的零空间约束编辑技术与协同框架相结合时出现的结构性故障，此前这种故障会导致编辑成功率和知识保留率的下降。FedAlphaEdit确保多个机构在不共享原始编辑数据的情况下，对共享模型的更新能够非常接近中心化编辑的结果。这是通过在单一零空间原则下对齐本地编辑和服务器端合并来实现的，使医院和金融公司等机构能够在保留无关知识的同时共同维护模型。
-
新的Moir方法利用模型自身数据改进LLM知识编辑
研究人员开发了一种名为Moir的新方法，用于语言模型的知识编辑，解决了编辑后推理能力下降的问题。Moir直接从模型自身的解码分布中估计保留协方差，无需依赖Wikipedia等外部静态语料库。该方法在保留OLMo-2、Llama-3.1和Qwen-3等各种模型的数学和编程推理能力方面表现出显著的改进，优于基线方法。
-
研究：微调大型语言模型会显著侵蚀知识编辑
一篇新的研究论文探讨了大型语言模型（LLMs）中知识编辑（KE）与微调的相互作用。研究表明，对已编辑模型进行微调通常会导致所应用编辑的显著衰减，其中像GPT-J上的AlphaEdit等方法会损失超过25%的有效性。研究表明，仅微调已编辑的层可以消除这些编辑，同时对整体性能的影响最小，并且令人惊讶的是，微调未编辑的层会导致更大的编辑衰减。这项工作强调了在完整的LLM应用流程中评估知识编辑技术的重要性，以确保编辑的持久性并解决潜在的安全问题。
-
新研究关注多语言模型、高效推理和数据污染
近期研究探讨了语言模型开发和应用的各个方面。Google DeepMind 的 ATLAS 项目引入了多语言模型的新缩放定律，旨在优化英语以外语言的训练。Hugging Face 发布了 LFM2.5-Encoders，专为在 CPU 上进行高效长上下文推理而设计，其速度优于现有模型。几篇 arXiv 论文深入研究了模型的行为和训练：TransClean 解决了 LLM 输出中的“翻译噪声”问题，另一项研究通过分析重复计数来调查语言模…