研究人员发现，顺序无关语言模型（OALMs）不能完美地分解联合分布，这意味着标记的揭示顺序会影响生成的似然度，最高可达0.49 nats/token。虽然置信度优先解码是顺序无关的，但其标记揭示顺序与从左到右生成非常相似。该研究还提出了一种基于置信度轨迹方差的新诊断工具，表明均匀的置信度扩散最大化了目标可恢复性，并且较低的方差与较高的下游正确性相关。 AI
影响 揭示了顺序无关语言模型的根本局限性，可能指导未来解码策略和模型评估的研究。
排序理由 学术论文，详细介绍了关于语言模型行为的新发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →