研究人员发现，在训练过程早期就将数据暴露给语言模型，特别是将训练后数据混入预训练阶段，可以显著提高模型在后续微调后保留目标能力的能力。这种“早期暴露”方法在拥有 1.35 亿和 10 亿参数模型的实验中，即使在计算资源匹配的情况下，也始终优于其他训练方法。研究表明，在预训练阶段就建立对未来微调的鲁棒性，应成为主要目标，而不是仅仅依赖于在微调阶段缓解遗忘的方法。 AI
影响 提出了一种训练更鲁棒的大型语言模型的新方法，该模型在微调后能更好地保留能力。
排序理由 学术论文，详细介绍了大型语言模型的一种新颖训练方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →