PulseAugur
中
实时 09:58:39
English(EN) Early Data Exposure Improves Robustness to Subsequent Fine-Tuning

研究发现，早期数据暴露可提高 LLM 对微调的鲁棒性

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新的研究论文探讨了如何训练语言模型，使其在后续微调后仍能保持其能力。该研究针对拥有 1.35 亿和 10 亿参数的模型进行，发现获取能力的方法在训练过程中显著影响其保留情况。具体来说，“早期暴露”——将训练后数据整合到预训练阶段——一致地提高了上游性能在下游微调过程中遗忘的鲁棒性。研究表明，在开发更具弹性的模型时，将鲁棒性作为上游训练期间的主要目标，而不是在微调期间被动应对，至关重要。 AI

影响 提出了一种训练更鲁棒的语言模型的新方法，有可能减少微调后的性能下降。

排序理由 一篇在 arXiv 上发表的研究论文，详细介绍了语言模型的一种新颖训练方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究发现，早期数据暴露可提高 LLM 对微调的鲁棒性

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Lawrence Feng, Gaurav R. Ghosal, Jacob Mitchell Springer, Ziqian Zhong, Aditi Raghunathan ·

    早期数据暴露可提高后续微调的鲁棒性

    arXiv:2605.12705v2 Announce Type: replace Abstract: How can we train models whose post-trained capabilities survive subsequent fine-tuning? Rather than focusing on downstream interventions to mitigate forgetting of upstream capabilities, we study how upstream training choices - t…

相关实体

相关话题