Bernoulli walk

新理论量化扩散模型中的并行采样成本

研究人员开发了一个新的自适应并行离散向量采样理论框架，其动机是掩码扩散模型中的并行解码。核心发现是将库尔巴克-莱布勒散度测量的近似误差与揭示轮次中累积的条件总相关性联系起来的一个精确恒等式。该恒等式将条件总相关性确立为轮内并行性的基本信息成本。该研究为马尔可夫链和伯努利游走等各种结构提供了优化的采样计划，并证明了串行深度和熵之间的分离。使用掩码扩散语言模型的实验表明，该框架可以有效地区分不同的解码规则并预测输出质量。