Sarah Breckner

Masked diffusion LLMs use EoS tokens for hidden reasoning

研究人员发现，掩码扩散大型语言模型（LLMs）可以利用序列结束（EoS）标记进行隐藏推理，从而提高其在复杂任务上的性能。通过将答案填充到超出正确长度的EoS标记，这些模型似乎利用这些标记的表示作为额外的计算能力。在加法、实体跟踪和数独等任务上使用LLaDA1.5和Dream-v0等模型进行的实验证实，添加EoS标记可以提高准确性。进一步的因果干预，即将EoS标记的隐藏状态转移，增加了反事实答案的可能性，表明这些标记具有潜在的推理能力。