Cormac McCarthy

微调大型语言模型存在逐字回忆受版权保护书籍的风险；Liquid AI 发布可在边缘部署的 24B MoE 模型

一项新的研究论文和配套代码库揭示，微调大型语言模型可能会无意中导致对受版权保护材料的逐字回忆。该研究题为“Alignment Whack-a-Mole”，展示了在特定文本上训练的模型如何能够逐字重现这些文本的大部分内容。研究人员提供了一个用于预处理书籍、使用 OpenAI、Google (Gemini) 和 DeepSeek (Tinker) 的 API 微调模型以及评估记忆能力的流程。