Vision Transformers
PulseAugur coverage of Vision Transformers — every cluster mentioning Vision Transformers across labs, papers, and developer communities, ranked by signal.
- developed Data Efficient Image Transformers 90%
- instance of ViT-Small/16 90%
- used by IJB-C 90%
- used by CLS token 90%
- used by Imagenet 1k 80%
- instance of Influence Flower 70%
- used by Dino 70%
- used by Influence Flower 70%
- used by Data Efficient Image Transformers 70%
- instance of Imagenet 1k 70%
- used by Large Vision Models Can Solve Mental Rotation Problems 70%
- instance of Large Vision Models Can Solve Mental Rotation Problems 70%
- 2026-06-10 research_milestone A new paper introduces register tokens to improve Vision Transformer performance and interpretability in face recognition. 来源
- 2026-05-22 research_milestone A new paper proposes a method to improve Vision Transformer performance on dense prediction tasks by addressing semantic diffusion. 来源
- 2026-05-22 research_milestone A new paper proposes a method to improve Vision Transformer performance on dense prediction tasks. 来源
- 2026-05-22 research_milestone A new paper introduces stabilized Vision Transformers and a training recipe that achieves state-of-the-art results on the Apple Dense Material Segmentation benchmark. 来源
14 天有情绪数据
-
DetectViT识别视觉Transformer中的后门攻击
研究人员开发了DetectViT,一种在推理时检测视觉Transformer(ViTs)中后门的新颖方法。该方法分析头间注意力差异,识别两种劫持类型:完全注意力重叠和部分注意力分布方差。DetectViT无需训练数据或模型输出即可运行,以最小的计算开销实现了高检测率。
-
新的训练方法增强了 LLM 编辑神经网络权值的能力
研究人员开发了一种名为“可编辑就绪训练”(Edit-Ready Training, ERT)的新方法,以提高大型语言模型(LLMs)直接修改神经网络权值的能力。在涉及视觉模型的实验中,与标准训练方法相比,ERT 在 LLM 编辑的成功率方面显示出显著提高。具体而言,在 CIFAR-100 和 Entity-30 等数据集上,当网络通过 ERT 准备好进行重新标记和错误校正等任务时,GPT-6 Astra 和 Claude (Opus …
-
新的SiGMA架构使图神经网络适应不同的数据复杂度
研究人员推出了一种新颖的门控混合图神经网络架构SiGMA,旨在解决图级异构性问题。该架构在每一层结合了消息传递和注意力机制,并通过学习到的节点级sigmoid门进行调节。这种自适应方法允许SiGMA根据输入图的复杂性和特征动态调整局部和全局计算策略。实证结果表明,与现有的图Transformer和混合模型相比,SiGMA在图级基准测试中取得了具有竞争力或更优的性能,为更灵活的图学习指明了一个有前景的方向。
-
SWAM框架通过显著性加权合并提升视觉Transformer效率
研究人员开发了SWAM(显著性加权非对称合并),一个旨在提高视觉Transformer(ViTs)效率的新框架。SWAM通过在处理过程中减少Token数量来解决ViTs的计算成本问题。该方法结合了显著性感知机制,使用余弦相似度和显著性惩罚来选择Token,并通过非对称聚合优先处理更显著的Token。SWAM使用DeiT-Small骨干网络进行端到端训练,在CIFAR-100、TinyImageNet和ImageNet-100等各种图像…
-
ElasticDino 适配器增强 Vision Transformers 在密集预测任务中的性能
研究人员开发了 ElasticDino,这是一种用于 Vision Transformers (ViTs) 的新型适配器,旨在增强语义分割和深度估计等密集预测任务。这种轻量级架构利用空间变形生成与输入图像像素对齐的高分辨率特征图,克服了 ViTs 自注意力机制的局限性。ElasticDino 保留了精细细节,避免了其他方法中存在的平滑偏差,在各种基准测试中展示了卓越的准确性和计算性能。
-
新的 CAAP 方法提高了 Vision Transformer 的归因准确性
研究人员推出了一种新方法,称为通过激活打补丁实现因果归因 (CAAP),用于识别 Vision Transformers (ViTs) 中有影响力的图像区域。与依赖近似或输入干预的现有技术不同,CAAP 直接操纵内部激活表示。该方法将特定于块的激活插入到跨中间层的中性上下文中,以衡量与块相关的内部表示对模型最终预测的因果贡献。与各种 ViT 架构和度量标准上的当前方法相比,CAAP 在产生更忠实和局部化的归因方面表现出卓越的性能。
-
边缘AI框架为联网汽车优化视觉Transformer
研究人员开发了一个新的框架,用于优化视觉Transformer模型在联网和自动驾驶汽车(CAVs)中的部署。该框架通过动态调整模型分区点、量化比特宽度以及跨各种车载计算节点的执行位置,解决了静态分层推理方法的局限性。该系统旨在最小化计算和V2V通信的能耗,同时遵守延迟和任务质量的约束。
-
新的GHiML流程利用视觉语言模型增强图像分类
研究人员开发了一种名为引导式层次化多标签(GHiML)学习的新流程,以改进专业图像(如底栖环境)的分类。该方法通过提取概念潜在变量、生成相关字幕并将这些文本嵌入与图像嵌入相结合,来利用视觉语言模型(VLMs)的知识。在BenthicNet和iNaturalist等数据集上的实验表明,与仅使用视觉的方法相比,GHiML在层次化多标签任务中显著提高了分类准确性。
-
ZeoBench 基准推动沸石材料发现的自监督学习
研究人员推出了 ZeoBench,这是一个旨在评估用于沸石 3D 表示的自监督学习策略的新基准。该基准旨在改善低数据场景下沸石性质的预测,这对于材料发现至关重要。ZeoBench 比较了各种预训练方法,包括 2D 模型和 3D 卷积网络的改编,发现自监督 3D 表示通常优于其他方法,并在下游任务上取得了最先进的结果。
-
新框架揭示了联邦 LoRA 适配视觉 Transformer 中的隐私风险
研究人员开发了一个新框架,用于解决在使用 LoRA 等参数高效微调方法和视觉 Transformer 进行联邦学习时出现的隐私风险。所提出的空间锚定生成反演框架通过将可训练的位置嵌入整合到 ViT 块中,提高了私有数据的重建质量。该方法在 CIFAR-10、CelebA 和 CARS 等数据集上显著提高了 PSNR、SSIM 和 LPIPS 等图像重建指标,表明仅基于 LoRA 的微调本身并不能固有地防止联邦学习中的数据泄露。
-
新的SSoG算子为视觉Transformer提供亚二次成本
研究人员开发了一种名为SSoG(可分离高斯和)的新空间算子,旨在取代视觉Transformer中计算成本高昂的自注意力机制。这种新颖的方法将与自注意力相关的二次成本降低到亚二次复杂度,从而使视觉Transformer能够更有效地处理更高的输入分辨率。SSoG还提供了理论优势,包括保证连续深度变体具有唯一解,并在高分辨率输入上展示了实际优势,如更高的准确性、参数效率以及显著更高的吞吐量和更低的内存使用量,与传统的密集注意力相比。
-
新框架使人工智能模型鲁棒性证书更高效
研究人员开发了一个新框架,以提高模型鲁棒性证书的效率。所提出的方法使用廉价的代理函数来估计模型的鲁棒性,并在统计上控制其与随机平滑等更昂贵、可靠的证书的偏差。这种方法在推理过程中显著降低了计算成本,有可能为 Vision Transformers 和 Language Models 等大型架构提供有效的鲁棒性保证。
-
新型WAMRViT模型使用动态四叉树分词进行自适应偏微分方程预测
研究人员开发了WAMRViT,这是一种新颖的Vision Transformer架构,专为偏微分方程(PDE)的自适应网格预测而设计。该模型利用动态四叉树分词,使其能够在推理过程中根据激波和界面等特征的复杂性来调整空间分辨率。与具有固定令牌数量的方法不同,WAMRViT支持完全自适应拓扑,可实现稳定、长期的预测。多尺度变体通过以原生分辨率处理叶节点,进一步提高了准确性,在基准测试和复杂的AMR燃烧问题上取得了最先进的结果。
-
New SPLIT method speeds up Vision Transformers by learning token resolution
研究人员开发了一种名为Split Policy Learned Image Tokenization (SPLIT)的新方法,以提高Vision Transformers (ViTs)的效率。SPLIT根据模型对任务相关信息的解释来学习分配token分辨率,而不是依赖原始像素统计。这种方法产生的token序列更短,同时保持了准确性,在分类任务和COCO及ADE20K等密集预测任务上取得了有竞争力的结果,同时使用的token减少了高达30%。
-
新研究提出增强型图像块表示法,用于视觉 Transformer
一篇新研究论文介绍了一种名为 PMTT 的新颖框架,它增强了视觉 Transformer 中图像块的表示。与当前每块使用单个标记的方法不同,PMTT 将其扩展为“表示状态家族”,并引入“保持身份的变化”,以解锁块级别的局部特征空间。这种方法在冻结的 DINOv3 主干上进行了测试,与标准的单标记接口相比,在解释隐藏变化和预测块状态方面表现出优越的性能,尤其在物理对应任务上表现出色。
-
新的ViT-HarDis方法增强了人脸识别的鲁棒性
研究人员开发了一种名为ViT-HarDis的新方法,利用Vision Transformers (ViTs)来提高人脸识别系统的鲁棒性。该技术专注于去相关Transformer层内的注意力头,特别是对身份之间存在歧义的挑战性样本施加更强的去相关性。通过在身份混淆最严重的地方强制执行头部专业化,ViT-HarDis在IJB-B、IJB-C和TinyFace等多个基准测试中取得了最先进的成果,而无需进行架构更改或增加推理成本。
-
SD-ViT 赋能具有早期退出 Vision Transformer 的高效人脸识别
研究人员开发了 SD-ViT,一种用于 Vision Transformer 的新颖训练框架,旨在提高人脸识别效率。该方法能够在 Transformer 的任何块深度生成可用的人脸嵌入,从而在推理过程中实现早期退出,同时最大限度地减少准确性损失。通过采用随机辅助信号和共享嵌入头,SD-ViT 训练中间层生成具有判别性的嵌入,这些嵌入可以直接与全深度画廊嵌入进行比较,无需重新计算画廊。
-
RoSeViT架构通过分离指令和工作区Token来增强ARC视觉推理能力
研究人员开发了RoSeViT,一种新颖的视觉Transformer架构,旨在提高抽象推理任务的性能。该模型明确地将高级转换指令的处理与视觉工作区计算分离开来。通过使用专用的控制器Token进行指令聚合,以及使用工作区Token处理视觉数据,RoSeViT增强了模型推断和应用复杂规则的能力,从而提高了在ARC基准测试上的准确性。
-
ViT-HarDis 通过将注意力条件化于样本难度来改进人脸识别
研究人员开发了 ViT-HarDis,一种通过将注意力头解耦条件化于样本难度来改进 Vision Transformer 中人脸识别的新方法。该方法对身份歧义性最高的硬样本应用更强的解耦,而无需引入架构更改或增加推理成本。实验表明,ViT-HarDis 通过降低硬样本与竞争类别中心的相似性以及降低头间注意力相似性,在 IJB-B 和 IJB-C 等多个基准测试中取得了最先进的成果。
-
ConvNeXt详解:CNN借鉴Vision Transformer技术
本文深入探讨了ConvNeXt架构,解释了卷积神经网络(CNN)如何融入了Vision Transformer的元素。文章探讨了ConvNeXt的设计选择,并将其优点和缺点与Vision Transformer及早期CNN模型进行了对比。