BlockGen

BlockGen 模型探索使用混合采样器进行分块序列生成

研究人员推出了一种新颖的分块序列建模方法 BlockGen，该方法利用混合采样器进行离散扩散。该方法比较了统一状态扩散模型 (USDMs) 与掩码扩散模型 (MDMs) 在分块生成序列（而非逐个 token 生成）时的有效性。BlockGen 将自回归 (AR) 预测与扩散模型相结合，以优化不太可能的 token，在 GSM8K 和 OpenWebText 等任务上表现出竞争力。