KV-Runahead

Apple 发布 STARFlow2，实现统一的文本图像生成

Apple 研究人员开发了 STARFlow2，这是一种新颖的架构，通过连接语言模型和归一化流来实现多模态生成。这种方法允许连续、单次、纯粹因果地生成交错的文本和图像序列，保留预训练的多模态理解能力，并实现高保真图像合成。该系统利用带有残差跳跃连接和统一潜在空间的 Pretzel 架构，允许文本和视觉输出直接进入 KV 缓存，从而提高生成效率。