7B-parameter

新的DRIFT方法优化大型语言模型训练数据以提升性能

研究人员开发了一种新颖的指令数据优化方法DRIFT，旨在提升大型语言模型的性能上限。与专注于子集选择的现有数据策选技术不同，DRIFT旨在改进数据分布本身。它利用策略内影响函数，将模型自身的rollouts作为验证目标，以解决标准影响函数公式中存在的邻近差距和梯度范数偏差等局限性。使用7B参数模型的实验表明，DRIFT能有效提升指令和推理任务的性能，优于当前的数据策选基线。