FisherSFT

清华大学UDS框架将大语言模型微调算力成本减半

清华大学的研究人员开发了一个名为UDS的新型在线样本选择框架，该框架已在ICML 2026上发表。该方法通过智能过滤冗余或低质量的训练数据，显著减少了大型语言模型监督微调所需的计算资源。通过分析模型的正向传播logits，UDS评估样本的重要性和多样性，在不影响模型准确性的前提下，计算能力最高可降低50%。这项创新有望降低定制模型微调的门槛，尤其对小型人工智能公司和专业应用而言。