English(EN) LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

新的LP-SFT方法在微调过程中保留语言模型能力

作者 PulseAugur 编辑部 · [2 个来源] · 2026-07-06 07:14

研究人员推出了一种新颖的监督微调方法LP-SFT，旨在保留预训练语言模型固有的熵结构。标准的微调会因过度关注目标标签词元而损害现有能力。LP-SFT通过维持替代合理词元之间的相对结构来解决这个问题，从而在不牺牲采样多样性的情况下缓解能力退化。实验表明，LP-SFT在平衡准确性和更广泛的性能指标方面优于普通SFT和其他增强基线。 AI

影响这项研究提供了一种改进语言模型微调的方法，有望在不牺牲预先存在的知识的情况下，实现更强大、更有能力的AI系统。

排序理由该集群包含一篇详细介绍语言模型新微调方法的学术论文。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。我们如何撰写摘要 →

报道来源 [2]

arXiv cs.CL TIER_1 English(EN) · Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang · 2026-07-07 04:00

LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

arXiv:2607.04733v1 Announce Type: new Abstract: Supervised fine-tuning (SFT) is the standard approach for adapting pretrained language models to downstream domains, yet it often improves target-domain behavior at the cost of degrading pre-existing capabilities. Standard cross-ent…
arXiv cs.CL TIER_1 English(EN) · Jingyuan Zhang · 2026-07-06 07:14

LP-SFT：通过多模态熵结构实现局部保留的监督微调

Supervised fine-tuning (SFT) is the standard approach for adapting pretrained language models to downstream domains, yet it often improves target-domain behavior at the cost of degrading pre-existing capabilities. Standard cross-entropy fine-tuning promotes only the observed labe…

报道来源 [2]

LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

LP-SFT：通过多模态熵结构实现局部保留的监督微调

相关实体

相关话题