CoT monitorability

研究深入探讨具有潜在思维链推理的LLM可监测性

一篇新的研究论文探讨了在使用思维链（CoT）推理时大型语言模型（LLMs）的可监测性，特别关注了通过用连续状态替换显式推理痕迹来降低推理成本的潜在CoT方法。该研究通过在数学推理和问答任务上比较显式CoT与弱监督和强监督潜在CoT，研究了这些潜在CoT方法在监测特定行为（如依赖于输入提示的偏见）方面的有效性。研究结果表明，可监测性更多地受到任务特性和模型内部访问级别的影响，而不是所采用的具体推理模式。