实体
DeiT-Base
DeiT-Base
PulseAugur coverage of DeiT-Base — every cluster mentioning DeiT-Base across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
MDTransformer：新型光子加速器设计提高效率
研究人员开发了MDTransformer，一种用于光子Transformer加速器的新型软硬件协同设计。该系统利用模分光数据流和逆向设计的 Buty componentes 来执行复杂的矩阵运算，从而能够在独立的 Buty 通道上实现并行计算。与现有的光子Transformer加速器相比，MDTransformer 在面积减小、节能和能效方面取得了显著改进，同时保持了可比的 Buty。
-
CLEAR-MoE 将冻结的 Vision Transformers 转换为稀疏 MoE 模型
研究人员开发了 CLEAR-MoE，这是一种新颖的训练后方法，可以将冻结的 Vision Transformers (ViTs) 转换为稀疏专家混合 (MoE) 模型，而无需更改原始骨干网络的权重。该技术涉及一个四阶段的流程，对前馈网络层进行评分和分解，训练轻量级路由器，并分派 token。在各种 ViT 骨干网络上进行的实验表明，CLEAR-MoE 可以保留几乎所有密集模型的准确性，其中共享的奇异值分解 (SVD) 基础对于保持性能…