Jinrui Zhang

新的SPES框架可在更少的GPU上实现内存高效的去中心化LLM预训练

研究人员开发了一种新颖的去中心化框架SPES，用于预训练大型语言模型，特别是混合专家（MoE）架构。该方法通过在每个节点上仅训练一部分专家并有效地在分布式GPU之间同步知识，即使通过互联网连接，也能显著降低内存需求。SPES已通过成功训练高达90亿参数的模型证明了其能力，在相似的计算预算内取得了与中心化训练模型相当的性能。