新的FineInstructions方法将合成数据扩展到LLM预训练规模

研究人员开发了一种名为FineInstructions的新方法，用于生成数十亿条合成指令和答案对，以训练大型语言模型。该方法将现有的预训练文档转换为指令调整数据，使用了约1800万条源自真实用户查询的指令模板。研究发现，仅使用此合成数据集进行语言模型预训练，其规模与标准预训练相当，在衡量响应质量的基准测试中优于传统方法和其他合成技术。该研究的相关资源可在Hugging Face和DagsHub等平台上获取。 AI

影响 该方法可以显著减少对昂贵的人工标注数据进行LLM指令调整的依赖，从而可能加速模型开发。

排序理由 该集群描述了一篇研究论文，其中详细介绍了一种为LLM生成合成训练数据的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Ajay Patel
• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• FineInstructions
• Gotit.pub
• Hugging Face
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →