output-layer gradients

新的LESSER方法加速了LLM训练后数据选择

研究人员开发了一种名为LESSER的新方法，用于选择大型语言模型的训练后数据。该技术利用输出层梯度来近似数据选择过程，而输出层梯度的计算成本远低于全参数梯度。LESSER在监督微调方面的计算成本降低了高达9.7倍，在强化学习基准测试方面降低了3倍，同时保持了下游任务的性能。研究表明，即使单个样本在输出层梯度和全梯度之间的排名不同，该方法也能选择梯度一致的批次。