synthetic document fine-tuning

新的“嫁接”技术可高效修改跨检查点的LLM信念

研究人员开发了一种名为“嫁接”的新技术，可以在训练过程中更有效地修改大型语言模型的信念。该方法解决了传统合成文档微调（SDF）成本高昂且耗时的问题，后者在每次调整后都需要完全重新训练。嫁接技术允许将SDF中学到的权重更新应用于现有的后训练模型，以显著更低的计算开销近似模拟中期干预的效果。该方法已被证明可以减少“现实漂移”等不良副作用，并能保持高达2840亿参数模型的各项能力，从而加快对齐研究的迭代速度。