PulseAugur
中
实时 13:28:23
English(EN) Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning

新的UDS框架通过效用-多样性采样改进LLM微调

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一个名为UDS（效用-多样性采样）的新框架，用于更有效地对大型语言模型（LLM）进行监督微调。该方法通过同时考虑数据样本的效用和多样性，而不仅仅是效用，来解决现有技术的局限性。UDS还避免了对参考模型或验证集等外部资源的依赖，并且能够高效地集成到训练过程中，而不会产生额外的时间成本。 AI

影响 这种新的采样方法可能导致更高效、更有效的LLM微调，降低计算成本并提高模型性能。

排序理由 该集群包含一篇详细介绍LLM微调新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Heming Zou, Yixiu Mao, Yun Qu, Qi Wang, Xiangyang Ji ·

    Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning

    arXiv:2510.16882v4 Announce Type: replace-cross Abstract: Supervised fine-tuning (SFT) is a commonly used technique to adapt large language models (LLMs) to downstream tasks. In practice, SFT on a full dataset is computationally expensive and sometimes suffers from overfitting or…

相关话题