Seq-Drifting

Seq-Drifting 使语言模型能够一步生成文本

研究人员推出了一种新颖的语言模型框架 Seq-Drifting，它能够实现一步文本生成。该方法将“漂移”机制应用于连续 token 表示的序列，学习从高斯噪声到文本的直接映射。与需要多个采样步骤的传统扩散模型不同，Seq-Drifting 在单次前向传播中联合生成所有 token。该框架在 LM1B 上实现了具有竞争力的生成困惑度，并展示了在翻译、摘要和推理等任务中的广泛适用性。