CausalLLM

研究发现 Qwen 2.5 容量影响因果学习

一篇新研究论文探讨了预训练模型的容量，特别是 Qwen 2.5 系列，如何影响其在因果学习任务上的表现。该研究比较了 CausalLLM 和 CausalGen 两个系统，发现更大的骨干模型尺寸可以提高代码生成和治疗效果估计的性能。研究还提出了模型可用容量和可转换容量之间的区别，尽管它指出由于两个系统在数据集、架构和监督方面的差异，在分离后训练适应的确切贡献方面存在局限性。