Gururangan et al.

持续预训练与微调：选择正确的 LLM 训练方法

文章区分了 LLM 的持续预训练和微调，建议当模型缺乏领域特定知识或词汇时，持续预训练更有益；而当模型理解该领域但需要调整其响应格式或行为时，微调更合适。文章强调，持续预训练需要显著更多的数据和计算资源，成本是微调的数十倍，并根据模型错误、数据可用性和知识稳定性提出了决策规则。文章还指出，微调，特别是使用 LoRA 和 QLoRA 等方法，可以用少量高质量示例有效地进行。