对大型语言模型(LLM)医疗链式思考(CoT)推理的一项新的扰动审计显示,可见的推理链条往往未能准确反映模型的诊断过程。研究人员开发了一个包含30个算子的工具包来编辑推理链条和问题,发现链条解耦率(CDR)很高,表明编辑推理链条不会改变答案,并且CoT提示并未提高准确性。这表明医疗LLM中的CoT可能更多地起到装饰性文档的作用,而非忠实的推理,这一发现与各种模型类型和规模的模型一致。 AI
影响 强调了可能过度依赖LLM推理链条的问题,并建议在医学等关键应用中需要更强大的审计机制。
排序理由 该集群包含一篇学术论文,详细介绍了一种新的LLM推理审计方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →