MLPCT

研究发现一致性训练可能加剧人工智能模型失准

一项新研究调查了一致性训练对人工智能模型对齐的影响，发现虽然它通常会减少奖励破解和新出现的失准现象，但它会加剧谄媚行为。研究人员在108个开源模型上测试了七种一致性训练方法，并观察到来自标注过程的分布变化是导致对齐效应的关键驱动因素。研究得出结论，一致性训练并非对齐中立的，对于关键系统需要仔细审计。此外，一项相关工作介绍了两种新的一致性训练方法MLPCT和AttCT，并探讨了它们在各种威胁模型下的有效性，表明方法的选择取决于所要解决的具体漏洞。