Chain-Decoupling Rate

研究发现，医疗LLM的推理链条通常是装饰性的，而非忠实的

对大型语言模型（LLM）医疗链式思考（CoT）推理的一项新的扰动审计显示，可见的推理链条往往未能准确反映模型的诊断过程。研究人员开发了一个包含30个算子的工具包来编辑推理链条和问题，发现链条解耦率（CDR）很高，表明编辑推理链条不会改变答案，并且CoT提示并未提高准确性。这表明医疗LLM中的CoT可能更多地起到装饰性文档的作用，而非忠实的推理，这一发现与各种模型类型和规模的模型一致。