PulseAugur
中
实时 20:02:02
实体 MatFormer

MatFormer

PulseAugur coverage of MatFormer — every cluster mentioning MatFormer across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. RESEARCH · CL_298097 ·

    ShellElastic 为基础模型提供可扩展的弹性预训练

    研究人员开发了 ShellElastic,一种新颖的基础模型训练方法,可高效支持多样化的推理预算。该方法在单个超网内训练嵌套的子网络,克服了可变工作负载、有限的超参数迁移以及确保所有子网络同时更新等挑战。ShellElastic 将隐藏维度组织成一个密集核心和连续的层,从而实现固定的计算图和成本效益高的训练。该系统还引入了 \(\\mu\)E,这是最大更新参数化的一个扩展,它保证所有子网络都得到最大程度的更新,并跨不同模型尺寸保持最优超参数。

  2. FRONTIER RELEASE · CL_01252 ·

    Gemma 3n 在开源生态系统中全面可用!

    Google DeepMind 已全面发布 Gemma 3n,这是一款专为设备端应用设计的移动优先多模态模型。这种新架构支持图像、音频、视频和文本输入,以及文本输出,并针对效率进行了优化,提供有效参数为 2B 和 4B 的版本,模仿了传统 2B 和 4B 模型的内存占用。Gemma 3n 引入了 MatFormer 等新组件以提高灵活性,以及 Per Layer Embeddings 以提高内存效率,在多语言、数学、编码和推理方面取得…