PulseAugur
中
实时 11:49:10

Masked diffusion LLMs use EoS tokens for hidden reasoning

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员发现，掩码扩散大型语言模型（LLMs）可以利用序列结束（EoS）标记进行隐藏推理，从而提高其在复杂任务上的性能。通过将答案填充到超出正确长度的EoS标记，这些模型似乎利用这些标记的表示作为额外的计算能力。在加法、实体跟踪和数独等任务上使用LLaDA1.5和Dream-v0等模型进行的实验证实，添加EoS标记可以提高准确性。进一步的因果干预，即将EoS标记的隐藏状态转移，增加了反事实答案的可能性，表明这些标记具有潜在的推理能力。 AI

影响 这项研究提出了一种利用EoS标记增强LLM推理能力的新方法，有可能在不改变架构的情况下提高复杂任务的性能。

排序理由 该集群包含一篇详细介绍LLM能力新发现的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Masked diffusion LLMs use EoS tokens for hidden reasoning

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Sarah Breckner, Sebastian Schuster ·

    掩码扩散大模型可使用EoS令牌进行隐藏推理

    arXiv:2603.05197v2 Announce Type: replace Abstract: Diffusion LLMs have been proposed as an alternative to autoregressive LLMs. Curiously, they are especially capable if the generation length, i.e., the number of tokens the model has to output, is set to a much higher value than …

相关实体

相关话题