实体 MobileMoE-S

MobileMoE-S

PulseAugur coverage of MobileMoE-S — every cluster mentioning MobileMoE-S across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_301758 · Oct 15 · 09:40

Gemma 3:1B FFN 被 MoE 专家替换，进行混合模型实验

研究人员成功地用另一个模型 MobileMoE-S 的混合专家（MoE）层替换了 Google 的 Gemma 3:1B 模型的馈送前馈网络（FFNs）。这项在 MacBook Air 上进行的实验，仅训练了每层两个线性投影矩阵，用于在宿主模型和供体模型之间进行映射，同时保持两个原始模型冻结。由此产生的混合架构实现了 0.82 nats 的交叉熵差距，与简单移除 FFN 时的 13.09 差距相比有了显著提高，尽管在基础问题上的表现仍…