Ajay Patel

新的FineInstructions方法将合成数据扩展到LLM预训练规模

研究人员开发了一种名为FineInstructions的新方法，用于生成数十亿条合成指令和答案对，以训练大型语言模型。该方法将现有的预训练文档转换为指令调整数据，使用了约1800万条源自真实用户查询的指令模板。研究发现，仅使用此合成数据集进行语言模型预训练，其规模与标准预训练相当，在衡量响应质量的基准测试中优于传统方法和其他合成技术。该研究的相关资源可在Hugging Face和DagsHub等平台上获取。