FMLM$^\star$

新的固定点流增强了语言模型的自条件能力

研究人员引入了一种名为固定点流的新技术，用于连续流式语言模型，增强了自条件能力。该方法解决了自条件能力性能提升不明确的问题，并将其应用于少步生成器。该方法将固定点流构建为一个二维类别，其中一个维度处理流过程，另一个维度管理固定点迭代，从而能够将其蒸馏成一个名为 FMLM$^*$​ 的流图语言模型。据报道，该模型在 OpenWebText 数据集上的一步和少步生成任务上均优于当前最先进的模型。