AcquisitionSynthesis

AcquisitionSynthesis 使用主动学习生成更好的合成数据

研究人员开发了一种名为 AcquisitionSynthesis 的新方法，用于生成高质量的合成数据来训练语言模型。该方法利用通常用于主动学习的采集函数来指导数据生成过程，旨在创建对下游学习者更具信息量的样本。实验表明，使用 AcquisitionSynthesis 数据训练的模型在性能上有所提升，并表现出对灾难性遗忘的更强鲁棒性，同时还证明了其在不同资源范式下训练其他模型的效用。