DeiT-Small
PulseAugur coverage of DeiT-Small — every cluster mentioning DeiT-Small across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
CLEAR-MoE 将冻结的 Vision Transformers 转换为稀疏 MoE 模型
研究人员开发了 CLEAR-MoE，这是一种新颖的训练后方法，可以将冻结的 Vision Transformers (ViTs) 转换为稀疏专家混合 (MoE) 模型，而无需更改原始骨干网络的权重。该技术涉及一个四阶段的流程，对前馈网络层进行评分和分解，训练轻量级路由器，并分派 token。在各种 ViT 骨干网络上进行的实验表明，CLEAR-MoE 可以保留几乎所有密集模型的准确性，其中共享的奇异值分解 (SVD) 基础对于保持性能…
-
自适应赫布路由增强了少样本视觉 Transformer 的性能
研究人员为少样本视觉 Transformer 开发了一种自适应赫布记忆路由方法，以提高从有限数据中进行图像识别的能力。该方法使用轻量级 MLP 路由器来动态控制赫布记忆的贡献、更新强度和先前记忆的保留。在各种骨干网络和数据集上的实验表明，自适应变体与固定的赫布方法相比，提高了性能并缩短了推理时间，显示了自适应可塑性和记忆激活的好处。
-
赫布快速权重增强了用于少样本字符识别的 Vision Transformer
研究人员通过将赫布快速权重 (HFW) 模块集成到 Vision Transformer 架构中，开发了一种新的少样本字符识别方法。与依赖固定表征的标准 Transformer 不同，该方法旨在模仿生物神经网络在推理过程中形成瞬时联想记忆的能力。当应用于 Swin-Tiny 模型时，该策略在 Omniglot 基准测试的 5 路 1 样本分类中达到了 96.2% 的准确率，在 5 路 5 样本分类中达到了 99.2% 的准确率，略优于…