PulseAugur
中
实时 06:45:56
实体 Granite-3.1-3B-A800M

Granite-3.1-3B-A800M

PulseAugur coverage of Granite-3.1-3B-A800M — every cluster mentioning Granite-3.1-3B-A800M across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_340261 ·

    Sonar-MoE 将 MoE 训练内存减少 22%，并加快了过程

    研究人员开发了 Sonar-MoE，一种用于训练混合专家（MoE）模型的新方法，可显著减少内存使用量。通过在反向传播过程中更新专家梯度并立即释放它们，Sonar-MoE 确保 GPU 一次只持有专家梯度的一层。与标准方法相比，该技术已显示出将峰值内存消耗降低 19-22%，并将训练时间缩短 17-23%，同时保持相同的更新和可比的留出损失。