研究人员开发了一种名为LESSER的新方法，用于选择大型语言模型的训练后数据。该技术利用输出层梯度来近似数据选择过程，而输出层梯度的计算成本远低于全参数梯度。LESSER在监督微调方面的计算成本降低了高达9.7倍，在强化学习基准测试方面降低了3倍，同时保持了下游任务的性能。研究表明，即使单个样本在输出层梯度和全梯度之间的排名不同，该方法也能选择梯度一致的批次。 AI
影响 降低了LLM微调的计算成本，可能加速研究和开发。
排序理由 该集群描述了在arXiv上的一篇学术论文中提出的一种新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- full-parameter gradients
- Hugging Face
- large language models
- LESSER
- output-layer gradients
- reinforcement learning
- supervised fine-tuning
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
