Mingzi Cao

新方法利用最优传输高效扩展LLM深度

研究人员推出了一种名为最优传输深度升级（OT-DUS）的新颖方法，可用于高效地增加预训练大型语言模型（LLM）的规模。与现有的复制或平均层的方法不同，OT-DUS利用最优传输理论来对齐和融合功能上对应的神经元。这种方法旨在缓解由神经元排列不匹配引起的性能下降。实验表明，OT-DUS在通用和专业领域都优于当前方法，并且当新层插入到模型架构的更高层时，性能提升会增加。