实体
EfficientViT
EfficientViT
PulseAugur coverage of EfficientViT — every cluster mentioning EfficientViT across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新的 HiLRP 方法为各种 Vision Transformer 提供了统一的解释
研究人员开发了一种名为 HiLRP 的新归因方法，旨在为 Vision Transformer (ViT) 模型提供单一、可信的解释。现有方法在处理 ViT 的多样化架构时遇到困难，常常依赖于在不同变体中不成立的假设。HiLRP 将 ViT 操作分解为四种基本类型，使其能够生成适用于广泛 ViT 系列的保守有效归因图，这与之前可能产生不准确或夸大相关性得分的方法不同。
-
新的通道专家混合层大幅削减CNN计算量
研究人员推出了一种名为通道专家混合（MoCE）的新型层，旨在取代卷积神经网络中的标准逐点投影。与难以实现并行卷积专家学习相似滤波器的传统专家混合（MoE）模型不同，MoCE将专家轴转移到通道选择上。该方法使用单个输出通道作为专家，具有学习到的稀疏输入通道支持和用于聚合的输入自适应softmax。MoCE在ImageNet-1K和CIFAR-100等基准测试中，显著降低了计算成本和延迟，同时达到了或超过了密集基线的性能。
-
新的通道专家混合方法提高了CNN的效率
研究人员开发了一种名为通道专家混合（MoCE）的新方法，以提高卷积神经网络的效率。与将输入路由到不同专家的传统专家混合模型不同，MoCE为每个专家选择特定的输入通道。这种受MoE启发的模型用更高效的通道混合层取代了密集投影。MoCE在ImageNet-1K和CIFAR-100等基准测试中，表现与密集基线相当或更优，同时还降低了计算成本和延迟。