研究人员开发了一种名为 CellFill 的新方法，用于更新量化大语言模型（LLMs），而无需改变原始模型的比特表示。该技术在反量化间隙内运行，将新知识存储在残差层中，该层严格限制在每个量化决策单元内。这种方法确保更新后的模型与原始模型保持位精确，从而实现可撤销的更新和受控的知识漂移。实验表明，CellFill 在事实回忆方面可与无约束方法相媲美，同时减少了跨领域遗忘，并在不同模型尺寸上均表现出效率。 AI
影响 该方法可以实现更高效、可验证的已部署大模型更新，可能降低模型漂移和未经授权修改的风险。
排序理由 该集群包含一篇详细介绍大模型更新新方法的 ist 论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
