EfficientViT

新的通道专家混合层大幅削减CNN计算量

研究人员推出了一种名为通道专家混合（MoCE）的新型层，旨在取代卷积神经网络中的标准逐点投影。与难以实现并行卷积专家学习相似滤波器的传统专家混合（MoE）模型不同，MoCE将专家轴转移到通道选择上。该方法使用单个输出通道作为专家，具有学习到的稀疏输入通道支持和用于聚合的输入自适应softmax。MoCE在ImageNet-1K和CIFAR-100等基准测试中，显著降低了计算成本和延迟，同时达到了或超过了密集基线的性能。