研究人员探索了扩散语言模型中内部去噪动力学与外部端点不确定性之间的关系。通过分析四个模型和四个推理基准上的数千个去噪轨迹，他们发现去噪过程中更强的运行内集中度与更低的端点熵相关，这意味着更稳定的内部过程会导致更可预测的输出。这种关联是不对称的，高集中度几乎总是导致集中端点，而较低的集中度可能导致结果各异。该研究表明，这些轨迹内的动力学可以预测最终输出的可变性，有可能用更少的完整生成来估计不确定性。 AI
影响 提供了一种用更少的生成来估计扩散模型输出不确定性的方法，有可能提高效率和可靠性。
排序理由 学术论文，详细介绍了关于扩散语言模型的新研究发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
