研究人员开发了一个新的自适应并行离散向量采样理论框架,其动机是掩码扩散模型中的并行解码。核心发现是将库尔巴克-莱布勒散度测量的近似误差与揭示轮次中累积的条件总相关性联系起来的一个精确恒等式。该恒等式将条件总相关性确立为轮内并行性的基本信息成本。该研究为马尔可夫链和伯努利游走等各种结构提供了优化的采样计划,并证明了串行深度和熵之间的分离。使用掩码扩散语言模型的实验表明,该框架可以有效地区分不同的解码规则并预测输出质量。 AI
影响 为优化生成模型中的并行解码提供了理论基础,可能导致更快的推理速度。
排序理由 学术论文,详细介绍了新的理论框架及其实验验证。[lever_c_demoted from research: ic=1 ai=1.0]
- Bernoulli walk
- Kullback--Leibler divergence
- Markov chain
- Masked Diffusion Language Model
- Masked Diffusion Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →