研究人员推出了一种新颖的分层语言建模框架Cola2，该框架改进了语义压缩和文本生成。该方法动态分割文本，控制压缩率，并使用掩码扩散解码器来平衡重建与生成。实验表明，一个未收敛的Cola2检查点，在3460亿个token上训练后，在HellaSwag和StoryCloze等基准测试中表现优于Llama 3-8B，尽管Llama 3-8B的预训练预算要大得多。 AI
影响 推动了分层语言生成的发展，并与现有的大型模型相比提供了更有效的训练方法。
排序理由 该集群描述了一篇详细介绍新颖语言建模框架及其在基准测试中性能的研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2610.31305v1 Announce Type: new Abstract: Hierarchical language generation separates continuous semantic modeling from discrete text realization, but its effectiveness depends on what the latent space compresses and how the discrete generator uses it. We propose Cola2, a fr…
Cola2 improves hierarchical language generation by jointly optimizing continuous semantic compression, reconstruction-generation balance, and encoder-decoder co-adaptation via dynamic span segmentation, masked diffusion decoding, and flow-matching priors.