MemSFT

MemSFT 方法将领域知识与大型语言模型解耦，防止性能下降

研究人员开发了 MemSFT，一种在不牺牲通用能力的情况下使大型语言模型 (LLM) 适应专业领域的新颖方法。MemSFT 使用外部参数化记忆来存储特定领域的知识，从而防止了传统微调中常见的灾难性遗忘。此记忆可跨不同大小的 LLM 重复使用，并在生成过程中与骨干模型的输出动态融合。在生物学、地球科学和法律数据集上的评估表明，与导致严重性能下降的标准微调不同，MemSFT 在保持通用任务熟练度的同时显著提高了领域性能。