English(EN) Do Models Read What They Write? Causal Registers in Scratchpad Reasoning

新研究表明LLM会因果性地使用scratchpad推理步骤

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-30 04:00

研究人员调查了大型语言模型是否会按预期使用其中间“scratchpad”推理步骤进行后续计算。通过编辑这些scratchpad状态的内部表示并观察模型的预测，他们发现经过训练使用scratchpad的模型会根据这些编辑过的状态因果性地调整其后续步骤。这种效应在不同的模型家族中都得到了观察，表明scratchpad监督确实可以训练模型将书面状态作为其计算过程的一部分，而不仅仅是为了人类可读性。 AI

影响这项研究表明，目前训练LLM使用中间推理步骤的方法可能是有效的，有可能带来更可靠和可解释的AI系统。

排序理由学术论文，详细介绍了关于LLM内部推理的新研究发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

Qwen2.5-Coder-7B

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Benjamin Shih, John Winnicki, Eric Darve · 2026-06-30 04:00

Do Models Read What They Write? Causal Registers in Scratchpad Reasoning

arXiv:2606.29522v1 Announce Type: cross Abstract: A central hope behind process supervision is that models can expose intermediate variables that matter for their later behavior. For this to help with alignment, a scratchpad must be tied to the computation: when the model writes …

报道来源 [1]

Do Models Read What They Write? Causal Registers in Scratchpad Reasoning

相关实体

相关话题