两篇新的arXiv论文探讨了用于大型语言模型训练的合成数据选择和表征方法。第一篇论文“Training-Aware Target Coverage”提出了一种识别合成数据的方法,该方法可以在不引入错误的情况下添加有益信息,并在Qwen2.5-Math-1.5B-Instruct模型上针对数学推理任务证明了其有效性。第二篇论文“Synthetic Data Characterization via Training Dynamics”通过研究不同大型语言模型家族和规模下的样本级可学习性来分析合成数据,并将其与人类编写的数据进行比较,同时评估数据选择策略。 AI
影响 这些论文通过更好地利用合成数据,为提高大型语言模型的训练效率和性能提供了新方法。
排序理由 两篇在arXiv上发表的学术论文,详细介绍了用于大型语言模型的新合成数据选择和表征方法。
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- ScienceCast
- GSM8K
- Qwen2.5-Math-1.5B-Instruct
- Training-Aware Target Coverage
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →