ShareGPT4o

新方法优化LLM微调的效率和数据质量 · 跟踪2个来源

两篇研究论文介绍了优化大型语言模型（LLM）监督微调（SFT）的新颖方法。第一种方法“在线动态批处理”（ODB）通过将批处理形成移至准确可观察点来解决训练期间可变样本处理成本的挑战，将吞吐量提高了4.43倍。第二种方法“效用-多样性感知在线批处理选择”（UDS）侧重于在SFT期间选择有价值且多样化的数据样本，以防止过拟合和偏差放大，其性能优于现有方法并减少了训练时间。