CellFill

CellFill 方法实现位精确、可撤销的大模型更新

研究人员开发了一种名为 CellFill 的新方法，用于更新量化大语言模型（LLMs），而无需改变原始模型的比特表示。该技术在反量化间隙内运行，将新知识存储在残差层中，该层严格限制在每个量化决策单元内。这种方法确保更新后的模型与原始模型保持位精确，从而实现可撤销的更新和受控的知识漂移。实验表明，CellFill 在事实回忆方面可与无约束方法相媲美，同时减少了跨领域遗忘，并在不同模型尺寸上均表现出效率。