实体
Mixture of Channel Experts
Mixture of Channel Experts
PulseAugur coverage of Mixture of Channel Experts — every cluster mentioning Mixture of Channel Experts across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的通道专家混合层大幅削减CNN计算量
研究人员推出了一种名为通道专家混合（MoCE）的新型层，旨在取代卷积神经网络中的标准逐点投影。与难以实现并行卷积专家学习相似滤波器的传统专家混合（MoE）模型不同，MoCE将专家轴转移到通道选择上。该方法使用单个输出通道作为专家，具有学习到的稀疏输入通道支持和用于聚合的输入自适应softmax。MoCE在ImageNet-1K和CIFAR-100等基准测试中，显著降低了计算成本和延迟，同时达到了或超过了密集基线的性能。
-
新的通道专家混合方法提高了CNN的效率
研究人员开发了一种名为通道专家混合（MoCE）的新方法，以提高卷积神经网络的效率。与将输入路由到不同专家的传统专家混合模型不同，MoCE为每个专家选择特定的输入通道。这种受MoE启发的模型用更高效的通道混合层取代了密集投影。MoCE在ImageNet-1K和CIFAR-100等基准测试中，表现与密集基线相当或更优，同时还降低了计算成本和延迟。