实体
AugReg
AugReg
PulseAugur coverage of AugReg — every cluster mentioning AugReg across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究探讨视觉 Transformer 中适配器放置的最优解
研究人员探索了两种不同的方法来优化持续学习模型（特别是在视觉 Transformer 中）中特定任务适配器的放置。一种方法是放置搜索，涉及在各种块配置中训练适配器，并观察到倒 U 形的准确率曲线，在中间深度达到峰值。另一种受神经科学启发的方法，利用来自视觉皮层的脑功能成像 (fMRI) 读出数据来指导适配器分配，无需广泛搜索，即可在减少存储和运行时间的情况下实现具有竞争力的性能。
-
SnapViT 可在无需重新训练的情况下实现弹性 Vision Transformer
研究人员开发了 SnapViT，这是一种创建弹性 Vision Transformer (ViTs) 的新颖方法，该方法可以在不重新训练的情况下适应各种计算预算。这种预训练后的结构化剪枝技术有效地结合了梯度信息和跨网络结构相关性，并通过进化算法进行近似。在多个预训练模型上的实验表明，SnapViT 在不同稀疏度下优于现有方法，并且可以在单个 A100 GPU 上在五分钟内生成可调模型。