off-policy self-distillation

新框架改进了对LLM思维链可监控性的评估

研究人员开发了一个新框架，以更准确地评估大型语言模型（LLM）中思维链（CoT）的可监控性。现有的指标最小标准敏感度（TPR_mc）可能会高估监控器检测干预引起的有害行为的能力。新框架为因果检测率建立了上限和下限，提供了更严格的评估。此外，还测试了三种训练后方法——离策略自蒸馏、强化学习和同策略自蒸馏——以训练LLM生成更易于监控的CoT，在各种配置中均显示出普遍的改进。