PulseAugur
中
实时 10:11:55
实体 Paci

Paci

PulseAugur coverage of Paci — every cluster mentioning Paci across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_80031 ·

    新的PACI方法通过限制权重不一致性来提高LLM训练速度

    研究人员开发了一种名为PACI的新型异步流水线训练方法，旨在提高大型神经网络训练的效率。与需要复杂机制来处理权重不一致性的现有异步方法不同，PACI使用局部梯度累积来限制这些不一致性，而无需额外的内存或同步。该方法在大语言模型预训练中显示出显著的训练时间改进，速度提高了1.69倍，同时保持了同步方法的稳定性和最终准确性。