DeiT-Tiny
PulseAugur coverage of DeiT-Tiny — every cluster mentioning DeiT-Tiny across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
MDTransformer：新型光子加速器设计提高效率
研究人员开发了MDTransformer，一种用于光子Transformer加速器的新型软硬件协同设计。该系统利用模分光数据流和逆向设计的 Buty componentes 来执行复杂的矩阵运算，从而能够在独立的 Buty 通道上实现并行计算。与现有的光子Transformer加速器相比，MDTransformer 在面积减小、节能和能效方面取得了显著改进，同时保持了可比的 Buty。
-
新的BMFA方法通过解决低估问题提高了Vision Transformer的准确性
研究人员开发了一种名为边界少数自由能自适应筛选（BMFA）的新方法，以解决Vision Transformer中的低估失败问题。当空间上小的、高响应的区域被块均值忽略时，就会发生这种失败，导致吉布斯质量计算不准确。BMFA构建了一个分层近似，该近似根据局部自由能增量递归地细化块。在COCO和ImageNet-1K等数据集上的实验表明，BMFA在保持高准确性的同时显著降低了低估。
-
CLEAR-MoE 将冻结的 Vision Transformers 转换为稀疏 MoE 模型
研究人员开发了 CLEAR-MoE，这是一种新颖的训练后方法，可以将冻结的 Vision Transformers (ViTs) 转换为稀疏专家混合 (MoE) 模型，而无需更改原始骨干网络的权重。该技术涉及一个四阶段的流程，对前馈网络层进行评分和分解，训练轻量级路由器，并分派 token。在各种 ViT 骨干网络上进行的实验表明，CLEAR-MoE 可以保留几乎所有密集模型的准确性，其中共享的奇异值分解 (SVD) 基础对于保持性能…
-
新的微调方法使深度神经网络适应ReRAM内存计算
研究人员开发了一种新的微调方法，用于将深度神经网络适应ReRAM基内存计算硬件的部署。该方法解决了ReRAM固有的I-V非线性和保持误差的挑战，这些挑战通常需要从头开始进行计算成本高昂的训练。所提出的技术将这些硬件非理想因素整合到微调过程中的正则化损失中，显著降低了开销，同时在包括ImageNet图像分类和SQuAD v2问答在内的各种模型和任务中保持了高精度。
-
新框架评估 AI 驾驶员模型，超越单纯的准确性
研究人员引入了一个新的驾驶员监控模型评估框架，超越了单纯的准确性指标。以人为本的基准测试框架 (HCBF) 从准确性、可解释性、效率和鲁棒性等方面评估模型。当应用于 MRL Eye 数据集上的四种轻量级架构时，研究发现，虽然模型在纯准确性方面表现相似，但它们在不同维度上表现出色。ShuffleNetV2 的总体排名最高，但其在嘈杂条件下的性能显著下降，这凸显了多维度评估对于实际部署的重要性。
-
新研究解决了 Vision Transformers 中的特征蒸馏挑战
研究人员发现，在 Vision Transformers (ViTs) 的特征蒸馏中存在一个关键问题，尤其是在模型压缩时。他们发现，虽然单张图像是可压缩的，但整个数据集表现出具有旋转低秩子空间的复杂结构。这种“编码不匹配”意味着标准的蒸馏方法会失败，因为跨通道的 token 级能量分布与教师模型的架构不一致。为了解决这个问题，该论文提出了两个简单的修复方法：“Lift”，在推理时添加一个轻量级投影仪，以及“WideLast”，拓宽学生…