DeiT-Small
PulseAugur coverage of DeiT-Small — every cluster mentioning DeiT-Small across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究质疑路由熵作为人工智能模型中可靠不确定性信号的有效性
研究人员调查了注意力残差Transformer中的路由熵是否可以作为模型固有置信度之外的不确定性信号。他们对在CIFAR-10/100数据集上训练的Swin-Tiny和DeiT-Small模型进行了审计，发现与仅置信度预测器相比，路由迹线不能一致地预测正确性或提高校准。虽然一些证据表明相对于打乱的迹线有所提升，但这并未转化为比模型输出置信度更实用的优势。该研究建立了依赖于控制的增益和不完整的估计器恢复，表明虽然条件路由信息可能存在，但…
-
MDTransformer：新型光子加速器设计提高效率
研究人员开发了MDTransformer，一种用于光子Transformer加速器的新型软硬件协同设计。该系统利用模分光数据流和逆向设计的 Buty componentes 来执行复杂的矩阵运算，从而能够在独立的 Buty 通道上实现并行计算。与现有的光子Transformer加速器相比，MDTransformer 在面积减小、节能和能效方面取得了显著改进，同时保持了可比的 Buty。
-
CLEAR-MoE 将冻结的 Vision Transformers 转换为稀疏 MoE 模型
研究人员开发了 CLEAR-MoE，这是一种新颖的训练后方法，可以将冻结的 Vision Transformers (ViTs) 转换为稀疏专家混合 (MoE) 模型，而无需更改原始骨干网络的权重。该技术涉及一个四阶段的流程，对前馈网络层进行评分和分解，训练轻量级路由器，并分派 token。在各种 ViT 骨干网络上进行的实验表明，CLEAR-MoE 可以保留几乎所有密集模型的准确性，其中共享的奇异值分解 (SVD) 基础对于保持性能…
-
自适应赫布路由增强了少样本视觉 Transformer 的性能
研究人员为少样本视觉 Transformer 开发了一种自适应赫布记忆路由方法，以提高从有限数据中进行图像识别的能力。该方法使用轻量级 MLP 路由器来动态控制赫布记忆的贡献、更新强度和先前记忆的保留。在各种骨干网络和数据集上的实验表明，自适应变体与固定的赫布方法相比，提高了性能并缩短了推理时间，显示了自适应可塑性和记忆激活的好处。
-
赫布快速权重增强了用于少样本字符识别的 Vision Transformer
研究人员通过将赫布快速权重 (HFW) 模块集成到 Vision Transformer 架构中，开发了一种新的少样本字符识别方法。与依赖固定表征的标准 Transformer 不同，该方法旨在模仿生物神经网络在推理过程中形成瞬时联想记忆的能力。当应用于 Swin-Tiny 模型时，该策略在 Omniglot 基准测试的 5 路 1 样本分类中达到了 96.2% 的准确率，在 5 路 5 样本分类中达到了 99.2% 的准确率，略优于…