multiscale residual VQ-VAE

下一概念建模提供更快、并行的文本生成

研究人员推出了一种新颖的两阶段文本生成框架——下一概念建模（NCM），与现有的自回归和扩散模型相比，它显著加快了生成过程。NCM 利用多尺度残差 VQ-VAE 将文本编码为离散代码，然后由 Transformer 并行生成这些代码。这种方法在 LM1B、OpenWebText 和 XSum 数据集等基准测试中，实现了更好的生成困惑度，并且比当前领先的扩散语言模型快得多。此外，NCM 在数独等推理任务上表现出卓越的性能，优于自回归和扩散基线。