Categorical Flow Maps

Apple ML Research 扩展流图以实现更快的语言生成

Apple Machine Learning Research 发表了一篇论文，详细介绍了在语言建模中扩展分类流图 (CFM) 的进展。研究团队成功地在 2.1 万亿个 token 上训练了一个 17 亿参数的流模型，并将其提炼成一个 CFM，该 CFM 能够在仅 4 个推理步骤内生成多样化的高质量文本。这种方法保持了接近数据级别的 token 熵，并有望用于离散数据生成，解决了先前在可扩展性方面存在的局限性。