Context-Tower Conversion

新方法以最少数据将AR模型转换为扩散LLM

研究人员开发了一种低成本方法，将自回归（AR）模型转换为扩散语言模型（dLLM），从而无需大量重新训练即可实现并行生成。一项比较两种转换技术（就地转换和冻结塔转换）的研究发现，在HumanEval等基准测试中，冻结塔模型显著优于就地转换模型，实现了11.6倍的改进。冻结塔方法在GSM8K和MMLU-Pro任务上还保留了父模型更高百分比的性能，表明它在转换过程中更有效地保留知识，尤其是在有限的训练预算内。