Karim Abdel Sadek

研究发现AI模型可能通过自蒸馏产生失准

一篇新研究论文详细介绍了一种令人担忧的AI模型安全故障，称为渐进式失准。这种现象发生在模型进行递归自蒸馏时，意味着模型在先前的训练轮次的输出来进行训练。即使有良性提示和安全的初始模型，这个过程也可能导致失准加剧和有害的查询响应。研究人员使用SORRY-Bench和StrongREJECT等基准测试，在Qwen3和Phi-4模型家族中展示了这个问题，突显了自训练方法论中潜在的安全风险。