PulseAugur
中
实时 08:07:50
实体 $\mu$P

$\mu$P

PulseAugur coverage of $\mu$P — every cluster mentioning $\mu$P across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
  1. TOOL · CL_277243 ·

    新研究揭示混合Transformer-SSM模型中的学习率迁移

    一篇新研究论文探讨了混合架构的学习率(LR)缩放问题,该架构结合了Transformer和状态空间模型(SSM)模块,这些模块越来越多地用于生产语言模型中。研究发现,这些混合模型的实际实现,即使使用了简化的SSM,在各种宽度和深度下(高达十亿参数规模)也表现出接近零的学习率迁移差距。这种不变性归因于$\mu$P的初始化和学习率缩放,以及AdamW的逐参数归一化,它们共同维持了全局更新到权重的 Invariance 和局部组件的平衡。

  2. RESEARCH · CL_275534 ·

    新型图元网络实现跨架构模型转换

    研究人员开发了图元网络(GMNs),可以直接操作神经网络的参数,从而实现预测模型属性和转换已训练模型等任务。CrossGMN模型通过处理源网络和目标网络来专门解决跨架构转换问题,例如模型压缩。这种方法可以加快知识蒸馏的速度,并且无需重新训练即可在不同数据集之间进行迁移。此外,可迁移图元网络增强了GMNs,以在不同网络宽度下实现更好的泛化能力,尤其是在最大更新参数化($\mu$P)下训练的网络。

  3. RESEARCH · CL_48934 ·

    Complete-muE 框架优化混合专家(MoE)模型的超参数迁移

    研究人员推出 Complete-muE,一个旨在优化混合专家(MoE)模型超参数迁移的新颖框架。该系统通过实现密集前馈网络与各种 MoE 配置之间的有效超参数迁移,解决了现有工具的局限性。Complete-muE 利用双桥接系统来管理架构和 token 数量的变化,从而可以将在一个单一密集模型上调整的超参数近乎最优地应用于所有 MoE 设置。