实体
Entity tracking in language models
Entity tracking in language models
PulseAugur coverage of Entity tracking in language models — every cluster mentioning Entity tracking in language models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
小型语言模型展现出先进的实体追踪能力，超越人类表现
一项发表在arXiv上的新研究表明，即使是参数量不足十亿的语言模型也表现出强大的实体追踪能力。这种对于理解话语至关重要的能力，在令人惊讶的小模型规模下就已出现，并且在自然叙事中超越了人类的表现。研究表明，叙事复杂度而非长度是影响人类实体追踪的主要因素，而语言模型则随着规模的增大而持续改进，显著优于人类。
-
Masked diffusion LLMs use EoS tokens for hidden reasoning
研究人员发现，掩码扩散大型语言模型（LLMs）可以利用序列结束（EoS）标记进行隐藏推理，从而提高其在复杂任务上的性能。通过将答案填充到超出正确长度的EoS标记，这些模型似乎利用这些标记的表示作为额外的计算能力。在加法、实体跟踪和数独等任务上使用LLaDA1.5和Dream-v0等模型进行的实验证实，添加EoS标记可以提高准确性。进一步的因果干预，即将EoS标记的隐藏状态转移，增加了反事实答案的可能性，表明这些标记具有潜在的推理能力。