Masked diffusion LLMs use EoS tokens for hidden reasoning

研究人员发现，掩码扩散大型语言模型（LLMs）可以利用序列结束（EoS）标记进行隐藏推理，从而提高其在复杂任务上的性能。通过将答案填充到超出正确长度的EoS标记，这些模型似乎利用这些标记的表示作为额外的计算能力。在加法、实体跟踪和数独等任务上使用LLaDA1.5和Dream-v0等模型进行的实验证实，添加EoS标记可以提高准确性。进一步的因果干预，即将EoS标记的隐藏状态转移，增加了反事实答案的可能性，表明这些标记具有潜在的推理能力。 AI

影响 这项研究提出了一种利用EoS标记增强LLM推理能力的新方法，有可能在不改变架构的情况下提高复杂任务的性能。

排序理由 该集群包含一篇详细介绍LLM能力新发现的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Addition
• Dream-v0
• EoS tokens
• GSM8K
• LLaDA1.5
• LLaDA2.0-mini
• Masked diffusion LLMs
• Sarah Breckner
• sudoku

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →