WildHalu

新的SFT方法可减少语言模型的幻觉

研究人员开发了一种称为知识对齐SFT的方法，以减少语言模型中的事实幻觉。该方法将训练目标限制在模型现有的参数知识范围内，这与可能使用外部知识的标准SFT形成对比。引入了新的变体Evidence Rewrite和Recall Rewrite，并在Qwen 3 4B和OLMo 3 7B等模型上进行了测试。结果表明，知识对齐SFT可以提高事实准确性并保留通用能力，其中Recall Rewrite在事实准确性和拒绝行为方面显示出最显著的提升。