Vision Transformers
PulseAugur coverage of Vision Transformers — every cluster mentioning Vision Transformers across labs, papers, and developer communities, ranked by signal.
- 2026-06-10 research_milestone A new paper introduces register tokens to improve Vision Transformer performance and interpretability in face recognition. 来源
- 2026-05-22 research_milestone A new paper proposes a method to improve Vision Transformer performance on dense prediction tasks by addressing semantic diffusion. 来源
- 2026-05-22 research_milestone A new paper proposes a method to improve Vision Transformer performance on dense prediction tasks. 来源
- 2026-05-22 research_milestone A new paper introduces stabilized Vision Transformers and a training recipe that achieves state-of-the-art results on the Apple Dense Material Segmentation benchmark. 来源
18 天有情绪数据
-
新的无监督方法分割低对比度混凝土XCT图像
研究人员开发了一种新颖的无监督方法，用于分割低对比度混凝土X射线计算机断层扫描（XCT）图像。该方法解决了骨料和砂浆之间X射线衰减系数相似的挑战，这通常会阻碍依赖强度的分割。该技术利用一种自标注过程，将超像素算法与卷积神经网络（CNN）的感受野相结合，以学习图像内的全局-局部关系。与手动标注数据相比，该方法在识别混凝土骨料的灵敏度和精度平衡方面优于简单的灰度阈值处理。
-
研究发现寄存器 token 可增强像素空间扩散 Transformer
研究人员调查了寄存器 token 在扩散 Transformer (DiTs) 中的效用，发现虽然 DiTs 不像 Vision Transformers (ViTs) 那样表现出相同的 patch-token 异常值，但它们仍然受益于寄存器 token。研究表明，寄存器在像素空间 DiTs 中比在潜在空间 DiTs 中更有效，可能通过在更高噪声水平下产生更清晰的特征图。在此发现的基础上，该论文介绍了寄存器引导（Register Gu…
-
新的基准和方法提升了深度伪造图像的检测能力 · 跟踪了 4 个来源
研究人员开发了新的深度伪造图像检测基准和方法，以应对不断发展的生成模型带来的挑战以及现有检测技术的泛化能力差的问题。VendorBench-100 使用统一的协议和精选的语料库评估了商业 API、视觉语言模型和开源检测器中的 36 个模型，发现商业 API 的总体表现最好，但个别开源模型仍具竞争力。另外，XPlainVerse 推出了一个以可解释的深度伪造检测为重点的百万级基准，提出了 EntityScore 和 EvidenceSc…
-
新型视觉SSM消除方向扫描，提升图像识别能力
研究人员推出了一种新颖的二阶非因果状态空间模型（SSM），名为Vision Non-Causal Trapezoidal Mamba (VNCT)，专为视觉识别任务设计。与依赖方向性标记扫描的先前视觉SSM不同，VNCT在单次传递中同时处理所有图像标记，消除了方向偏差并降低了推理延迟。这种方法产生了更具方向鲁棒性的表示，从而在ImageNet-1K分类、COCO目标检测和ADE20K语义分割等基准测试中取得了更好的性能，尤其是在需要精…
-
Quick ViTs 提升 Vision Transformer 效率，通过等变性
研究人员开发了“Quick ViTs”，一种通过引入对反射和旋转的等变性来提高 Vision Transformers (ViTs) 效率的新方法。这些 Quick ViTs 利用在二面体对称群 D8 的傅里叶域中运行的线性层，与标准 ViTs 相比，显著减少了 FLOPs 和内存使用量。在 ImageNet-1K 上使用监督（DeiT-III）和自监督（DINOv2）训练方法进行的实证评估表明，Quick ViTs 在提供显著计算优…
-
新的深度剪枝方法提高了视觉Transformer的效率
研究人员开发了一种名为HetDPT的新方法来改进视觉Transformer（ViTs）的深度剪枝。该方法考虑了不同层之间的异构性，而这是先前深度剪枝技术的局限性。HetDPT避免了维度不匹配的问题，并在ImageNet-1K和CIFAR-100等数据集上实现了显著的加速，同时保持了准确性。当与宽度剪枝结合时，HetDPT+在极端的ViT剪枝方面设定了新的最先进水平，在接近无损准确率的情况下实现了更高的加速比。
-
Fusion框架统一视觉Transformer适配以提高效率
研究人员开发了Fusion，一个旨在通过统一的顺序令牌适配技术来提高视觉Transformer（ViTs）效率的新型框架。该框架以分阶段的方式协调令牌合并、提前退出和令牌修剪，使这些机制能够协同工作而非竞争。Fusion还集成了轻量级路由模块，无需重新训练即可动态调整准确率-延迟权衡。在DeiT-S的ImageNet-1k上的实验表明，Fusion在计算预算方面匹配或超过了最先进的自适应ViT方法，同时显著降低了校准误差和推理能耗。
-
新框架TGO-II揭示Vision Transformer表征在训练过程中的演变方式
研究人员开发了Transformer Geometry Observatory-II (TGO-II)，一个用于分析监督训练过程中Vision Transformer (ViT)内部表征的几何演变的新框架。使用Centered Kernel Alignment (CKA)和Singular Vector Canonical Correlation Analysis (SVCCA)等方法，TGO-II揭示了随着训练的进行，表征的专业化程…
-
ViT 分割方法在高压缩下的对比研究
一篇新的研究论文探讨了在极高压缩率和损坏输入数据下，使 Vision Transformers (ViTs) 在语义分割任务中更高效的方法。该研究比较了两种主要方法：结构化剪枝，即移除 ViT 架构内的冗余组件；以及 Token 缩减，即减少输入 Token 的数量。研究结果表明，虽然 Token 缩减在较低压缩水平下有效，但在严重压缩下性能会显著下降，而结构化剪枝则表现出更稳定的性能曲线。该研究提出了一种结合适度剪枝和 Token …
-
新框架揭示视觉 Transformer 如何编码几何信息
研究人员开发了一个新框架，用于分析自监督视觉 Transformer (ViTs) 如何编码几何信息。通过使用奇异值分解 (SVD) 来检查线性探针的权重，他们发现预训练目标显著影响特征编码。具体来说，DINOv2 对齐空间特征以便于提取，而掩码自编码器 (MAE) 则分散这些信号，需要更广泛的上下文。研究还表明，几何表示具有高度可压缩性，并且几何精度在中间层达到峰值，然后转移到语义抽象。
-
新基准AGVBench评估血管识别的数据增强方法
研究人员推出AGVBench，这是一个旨在评估血管识别系统数据增强策略的新基准。该基准在公共手掌和手指静脉数据集上测试了七种不同模型架构的30种增强方法。研究结果表明，MixUp和PuzzleMix等多种图像混合技术提供了最佳识别性能，但存在校准不佳和对抗性脆弱性问题。研究还强调，严重的几何变换会降低识别精度，并且增强效果在手掌和手指静脉数据集之间存在差异，这突显了超越简单准确性的面向可靠性评估的必要性。
-
新的训练方法消除了 Vision Transformers 中的位置嵌入
研究人员开发了一种名为 Active Spatial Guidance (Guidance) 的新训练技术，消除了 Vision Transformers (ViTs) 中对显式位置嵌入的需求。通过在训练期间对最后一层 patch token 应用辅助的二维坐标回归损失，Guidance 直接从数据中诱导空间组织。该方法在 ImageNet-100 分类和 ADE20K 语义分割等任务上持续提高了性能，优于传统的注入式位置机制，如学习…
-
新的梯度平滑方法增强了深度神经网络的优化
研究人员引入了一种名为深度层梯度增强的新优化范式，旨在改进具有Transformer等重复架构块的深度神经网络的训练。这种方法称为梯度平滑，通过考虑深度维度来转换层更新，从而在包括语言模型预训练和扩散建模在内的各种任务中获得更好的优化和泛化性能。该方法与现有优化器兼容，计算开销极小，促进了更结构化的表示演化。
-
新的 REDI 方法将 Vision Transformer 的 Token 数量减少 46.8%，同时提高了准确性
研究人员开发了一种名为 REDI（Relevance for DINOv3 Token Reduction）的新方法，通过减少 Patch Token 的数量来提高 Vision Transformer 的效率。REDI 将 DINOv3 Patch 表示量化为视觉词汇表，并使用源自 TF-IDF 的类条件语料库分数来对重要 Patch 进行排序和选择。当应用于 DINOv3 ViT-B/16 主干时，这种方法实现了 46.8% 的序…
-
CLIMP：基于 Mamba 的视觉语言模型超越 OpenAI 的 CLIP
研究人员推出 CLIMP，这是一种新颖的对比语言-图像预训练模型，它仅使用 Mamba 架构，摒弃了传统的 Vision Transformer。这种新方法解决了 Vision Transformer 中存在的诸如分辨率二次方缩放和易受虚假关联影响等局限性。与 OpenAI 的 CLIP-ViT-B 相比，CLIMP 在跨模态检索和分布外鲁棒性方面表现出更优越的性能，同时在内存和 FLOPs 方面也提供了更高的效率。该模型的自回归文本…
-
新框架在单一训练阶段自动执行 Vision Transformer 剪枝
研究人员开发了 HiAP，一个用于自动剪枝 Vision Transformers (ViTs) 以降低其计算需求的创新框架。与需要多阶段过程和微调的先前方法不同，HiAP 将剪枝整合到单一的端到端学习阶段。它在多个结构层面采用随机门控，并与计算成本项一起进行优化，从而在不需要重要性启发式或二次微调的情况下高效地创建更小、更密集的子网络。
-
新的可控视觉表示允许对图像特征进行自然语言引导
研究人员引入了一类新的视觉表示，称为可控视觉表示（Steerable Visual Representations），旨在允许对图像特征进行自然语言引导。与现有关注显著线索或在以语言为中心的输出方面效果不佳的方法不同，该方法通过交叉注意力（cross-attention）的早期融合，将文本直接注入视觉编码器层。这使得表示能够关注图像中的任何所需对象，同时保持底层质量，在异常检测和个性化对象判别等任务上表现强劲。
-
新研究质疑 AI 视觉模型是否真正“看到”物体
一篇新的研究论文探讨了当前视觉模型在真正理解物体方面的局限性，提出它们的识别能力受限于它们所学习的描述系统。该研究引入了“句法距离”来衡量类别可分离性，发现当局部统计线索不可靠且需要全局语义时，模型会遇到困难。使用 ResNets 和 Vision Transformers 进行的实验表明，在超过临界图像尺度后，准确率会下降到随机猜测的水平，这表明现有架构在全局概念任务上存在基本能力边界。
-
HASTE框架实现无需训练的CNN压缩
研究人员开发了HASTE，一个新颖的框架，旨在压缩大型预训练卷积神经网络（CNN）而无需额外的训练或数据访问。这个即插即用的模块在推理过程中利用局部敏感哈希动态合并冗余通道，从而降低计算成本。在CIFAR-10和ImageNet等数据集上的实验表明，FLOPs显著减少，例如ResNet34的FLOPs减少了46.2%，而准确率仅有微小下降。
-
TreeLoRA为大型模型提供高效的持续学习
研究人员推出TreeLoRA，一种用于大型预训练模型高效持续学习的新方法。该方法利用由分层梯度相似性树组织的层级低秩适配器（LoRA），在适应新任务的同时保留现有知识。为了管理计算需求，TreeLoRA采用基于老虎机（bandit）的技术进行任务相似性估计和稀疏梯度更新，使其适用于计算机视觉和自然语言处理等领域的大型模型。