研究人员开发了SCIT,一种旨在测试潜在思维链模型中因果缓存载体的新协议。该方法有助于识别中间推理是如何在连续状态中存储和处理,而不是以文本形式发出。在CODI-GPT2和GPT-2复现上的实验表明,算术计算主要通过值缓存后缀轨迹进行传输,这将其与隐藏状态或键区分开来。 AI
影响 引入了一种新的诊断工具,用于理解模型的内部计算以及推理的存储方式。
排序理由 该集群包含一篇研究论文,详细介绍了用于分析潜在思维链模型的新协议。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →