PulseAugur
中
实时 06:18:57
English(EN) MemSFT: Mitigating Alignment Tax with an External Parametric Memory

MemSFT 方法将领域知识与大型语言模型解耦，防止性能下降

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 MemSFT，一种在不牺牲通用能力的情况下使大型语言模型 (LLM) 适应专业领域的新颖方法。MemSFT 使用外部参数化记忆来存储特定领域的知识，从而防止了传统微调中常见的灾难性遗忘。此记忆可跨不同大小的 LLM 重复使用，并在生成过程中与骨干模型的输出动态融合。在生物学、地球科学和法律数据集上的评估表明，与导致严重性能下降的标准微调不同，MemSFT 在保持通用任务熟练度的同时显著提高了领域性能。 AI

影响 该方法可以使大型语言模型在不损害其通用能力的情况下获得专业知识，从而有可能拓宽其在不同领域的适用性。

排序理由 该集群包含一篇详细介绍 LLM 适应新方法的 ist 研究论文。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

MemSFT 方法将领域知识与大型语言模型解耦，防止性能下降

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Jiarui Wang, Xiang Shi, Jiaqi Cao, Rubin Wei, Xiquan Wang, Hao Sun, Jingzhi Wang, Zhiqi Yang, Qipeng Guo, Bowen Zhou, Zhouhan Lin ·

    MemSFT：通过外部参数化记忆减轻对齐税

    arXiv:2607.25614v1 Announce Type: cross Abstract: Adapting Large Language Models (LLMs) to specialized domains often incurs an alignment tax, as fine-tuning on domain-specific tasks can cause catastrophic forgetting and substantially degrade performance on general tasks. We propo…

相关实体

相关话题