研究人员开发了一个新框架,以更准确地评估大型语言模型(LLM)中思维链(CoT)的可监控性。现有的指标最小标准敏感度(TPR_mc)可能会高估监控器检测干预引起的有害行为的能力。新框架为因果检测率建立了上限和下限,提供了更严格的评估。此外,还测试了三种训练后方法——离策略自蒸馏、强化学习和同策略自蒸馏——以训练LLM生成更易于监控的CoT,在各种配置中均显示出普遍的改进。 AI
影响 通过为LLM的推理过程提供更准确的评估指标,增强了检测和减轻其有害行为的能力。
排序理由 学术论文,详细介绍了LLM可监控性的新评估框架和训练方法。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- guan2025monitoring
- large language models
- off-policy self-distillation
- On-policy self-distillation
- reinforcement learning
- TPR_mc
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →