PulseAugur
中
实时 08:14:51
English(EN) Knowing but Not Saying: Preventing Factual Access Failures in LLM SFT via Recall-Anchored Distillation

新方法解决LLM SFT后的事实访问失败问题

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员发现了一种现象，称为事实访问失败，发生在大型语言模型经过监督微调（SFT）之后。当模型在约束性评估中仍能识别正确答案，但在开放式任务中却无法生成时，就会出现这种情况。为了解决这个问题，引入了一种名为召回锚定蒸馏（Recall-Anchored Distillation, RAD）的新方法。RAD使用基于基础模型的自蒸馏目标，通过将适配模型与原始基础模型在无标签文本上的软续写分布对齐，来维持分布外生成行为。 AI

影响 这项研究可以通过防止领域特定微调后LLM事实回忆能力的退化，来提高LLM的可靠性。

排序理由 详细介绍LLM训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新方法解决LLM SFT后的事实访问失败问题

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Haodong Chen, Yadong Wang, Shengtao Wen, Dong Liang, Xiang Chen ·

    知而不言：通过召回锚定蒸馏防止LLM SFT中的事实访问失败

    arXiv:2608.20794v1 Announce Type: new Abstract: Supervised fine-tuning (SFT) can degrade factual behavior outside the target domain. This degradation is often described as catastrophic forgetting, yet open-ended factual failures do not necessarily imply that the underlying facts …

相关实体

相关话题