Lawrence Feng

研究发现，早期数据暴露可提高 LLM 对微调的鲁棒性

一篇新的研究论文探讨了如何训练语言模型，使其在后续微调后仍能保持其能力。该研究针对拥有 1.35 亿和 10 亿参数的模型进行，发现获取能力的方法在训练过程中显著影响其保留情况。具体来说，“早期暴露”——将训练后数据整合到预训练阶段——一致地提高了上游性能在下游微调过程中遗忘的鲁棒性。研究表明，在开发更具弹性的模型时，将鲁棒性作为上游训练期间的主要目标，而不是在微调期间被动应对，至关重要。