实体
Jama Hussein Mohamud
Jama Hussein Mohamud
PulseAugur coverage of Jama Hussein Mohamud — every cluster mentioning Jama Hussein Mohamud across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
随机递归模型为AI推理任务提供参数效率
研究人员推出了一种新颖的神经网络架构——随机递归模型（RRM），该模型专为参数效率和增强的计算深度而设计。与具有固定层序列的传统递归模型不同，RRM为每个步骤和示例随机采样层，从而实现灵活的层重用。与现有模型相比，这种方法在推理任务上已显示出具有竞争力或更优越的性能，并且通常使用的参数要少得多。此外，RRM可以在不重新训练的情况下将其推理深度扩展到训练参数之外，这有利于需要迭代计算的任务。
-
新参数无关专家路由方法揭晓，适用于MoE模型
研究人员推出了一种新颖的参数无关方法Self-Routing，用于混合专家（MoE）层，无需专门学习的路由器。该方法直接利用token的隐藏状态子空间将token分配给专家，简化了MoE架构。在语言建模和ImageNet-1K分类上的评估表明，Self-Routing在性能上与学习型路由器相当，提供了更均衡的专家利用率，并消除了路由参数。