Next-Concept Modeling (NCM)

斯坦福大学发布下一概念模型 (NCM)，文本生成速度提升 31 倍

斯坦福大学的研究人员开发了一种名为下一概念模型 (NCM) 的新文本生成方法。与传统的逐个 token 生成的自回归模型不同，NCM 首先创建整个响应的粗略大纲，然后逐步添加细节。这种方法可以显著加快生成速度，NCM 在 32 次传递中生成 1,024 个 token，而标准模型需要 1,024 次传递。该方法使用一个压缩器，将文本编码为不同详细程度的级别，较高级别捕获较低级别遗漏的信息，从而实现精确的文本重建。