Data Efficient Image Transformers
PulseAugur coverage of Data Efficient Image Transformers — every cluster mentioning Data Efficient Image Transformers across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的 ToaSt 框架提高了 Vision Transformer 的效率
研究人员开发了一个名为 ToaSt 的新框架，旨在提高 Vision Transformer (ViTs) 的计算效率。ToaSt 将策略分离应用于 ViT 架构的不同部分，对注意力模块应用头式结构化剪枝，并对前馈网络应用一种称为 Token 通道选择 (TCS) 的免训练方法。这种方法在图像分类、检测和分割等各种模型和下游任务中都展示了改进的准确性和效率权衡。
-
新的RAPID框架通过逐层令牌合并提高Vision Transformer效率
研究人员开发了RAPID，一个旨在提高Vision Transformer (ViTs) 计算效率的新框架。该方法根据令牌的层级特性智能地修剪和合并令牌，解决了自注意力机制的二次复杂度问题。在早期层，RAPID会移除冗余的局部模式；在更深的层，它则根据注意力权重，在保留重要令牌的同时合并不太关键的令牌。在ImageNet-1K上的实验表明，RAPID在准确率-压缩权衡方面优于现有方法，尤其是在高压缩率下。
-
AI模型注意力拓扑映射至人脑网络
研究人员开发了一种新颖的方法，通过将Transformer模型注意力拓扑映射到人脑网络，来比较AI模型的组织特性。该方法实现了跨视觉、语言和多模态系统的、与模态无关且无任务的分析。他们对151个模型的研究揭示了一种连续的弧形拓扑对齐分布，其中侧重全局抽象的模型与更高级别的大脑网络对齐，而侧重局部细节的模型则与低级别网络对齐。意外的发现包括DINOv2的对齐度降低以及蒸馏DeiT模型的尺度反转，这表明模型架构、训练和类大脑组织之间存在复杂的关系。
-
新算法通过低秩适应增强神经网络压缩
研究人员开发了一种名为 GPTQ-intrinsic LoRA 的新算法，以提高大型神经网络压缩的效率。该方法将低秩校正直接集成到量化过程中，旨在最大限度地减少激进的低比特量化通常会看到的质量下降。对 Qwen3 和 DeiT 等模型的理论分析和实验结果表明，这种方法优于现有方法，并通过改进进一步带来收益。
-
SnapViT 可在无需重新训练的情况下实现弹性 Vision Transformer
研究人员开发了 SnapViT，这是一种创建弹性 Vision Transformer (ViTs) 的新颖方法，该方法可以在不重新训练的情况下适应各种计算预算。这种预训练后的结构化剪枝技术有效地结合了梯度信息和跨网络结构相关性，并通过进化算法进行近似。在多个预训练模型上的实验表明，SnapViT 在不同稀疏度下优于现有方法，并且可以在单个 A100 GPU 上在五分钟内生成可调模型。
-
新的RBDC协议将视觉模型训练成本降低了30%
研究人员开发了一种名为RBDC的新训练协议，以提高训练大型视觉模型的可资源效率。该方法通过无参数的块对角线方式递归地耦合独立训练的、更窄的模型。在ImageNet上使用Vision Transformers和ResNets进行的评估表明，与现有的增长方法相比，FLOPs减少了30%，准确率相当，并且在相同的训练FLOPs下性能有所提高。RBDC训练的模型在作为对象检测和实例分割等下游任务的骨干网络方面也显示出增强的效用。
-
FAIR-Pruner框架支持自适应逐层神经网络剪枝
研究人员开发了FAIR-Pruner，一个用于深度神经网络自动、逐层结构化剪枝的新框架。该方法通过使用移除导向和保护导向的信号，自适应地在网络层之间分配稀疏度。在包括视觉模型和Qwen1.5-MoE模型在内的各种数据集和模型架构上的实验表明，FAIR-Pruner实现了强大的精度-压缩权衡。该框架可作为一个开源包使用。
-
AI模型FusionCell利用布局和拓扑预测电路性能
研究人员开发了FusionCell，这是一种新颖的AI模型，旨在预测数字电路中标准单元的性能。该模型独特地整合了布局几何和网表拓扑，克服了以往常常忽略物理布局的预测器的局限性。FusionCell采用一种双模态方法，使用DeiT编码器处理布局，使用图Transformer处理网表，并通过拓扑引导机制进行融合。在7nm数据集上的实验表明，FusionCell显著降低了回归误差，平均MAPE达到0.92％，并且与传统电路仿真相比，将特征提…
-
新方法QFlash和ELSA提升Vision Transformer的注意力效率
研究人员开发了两种新方法来提高vision transformer中注意力机制的效率。QFlash专注于为FlashAttention实现纯整数运算，在某些模型上实现了显著的加速和能耗降低，而没有精度损失。另一方面，ELSA重新构建了注意力机制，以在实数运算中保留精确的softmax语义，在各种平台和精度上提供硬件无关的性能提升和内存减少。