StoryCloze

Cola2语言模型在分层生成方面取得进展，超越Llama 3-8B

研究人员推出了一种新颖的分层语言建模框架Cola2，该框架改进了语义压缩和文本生成。该方法动态分割文本，控制压缩率，并使用掩码扩散解码器来平衡重建与生成。实验表明，一个未收敛的Cola2检查点，在3460亿个token上训练后，在HellaSwag和StoryCloze等基准测试中表现优于Llama 3-8B，尽管Llama 3-8B的预训练预算要大得多。