ADE20K
PulseAugur coverage of ADE20K — every cluster mentioning ADE20K across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的算法方法DORMS在图像分割方面取得了有竞争力的结果
研究人员开发了DORMS(Depth-Ordered Region Merging for Segmentation,深度排序区域合并分割),一种新颖的图像分割算法方法,不依赖于神经网络或学习参数。该方法利用单目深度图,通过确定性扫描构建深度排序的合并树,并利用组件面积、深度持久性和空间接触来指导区域合并。在COCO Panoptic、Cityscapes和ADE20K等数据集上,DORMS在经典分割基线方面表现出持续的改进,并与零样…
-
New SPLIT method speeds up Vision Transformers by learning token resolution
研究人员开发了一种名为Split Policy Learned Image Tokenization (SPLIT)的新方法,以提高Vision Transformers (ViTs)的效率。SPLIT根据模型对任务相关信息的解释来学习分配token分辨率,而不是依赖原始像素统计。这种方法产生的token序列更短,同时保持了准确性,在分类任务和COCO及ADE20K等密集预测任务上取得了有竞争力的结果,同时使用的token减少了高达30%。
-
SAGE 增强 Vision Transformers 以实现通用视觉识别
研究人员推出了 SAGE,一种显着性退火门控编码器,旨在增强 Vision Transformers (ViTs) 在通用视觉识别任务中的性能。SAGE 集成了一个显着性引导架构,该架构利用 DINO 风格的类标记显着性来进行特征门控和细节增强。它还采用了一种基于退火的训练范式和一种两阶段、质量感知的训练机制,该机制从焦点损失过渡到 Varifocal 损失。该方法在 COCO、ADE20K、TinyImageNet 和 DIOR-R…
-
新的S2-RL框架推动了生成式语义分割数据集蒸馏的进展
研究人员推出了一种用于生成式语义分割数据集蒸馏的新型框架S$^2$-RL。该方法利用扩散模型进行文本到图像生成,能够根据简洁的文本提示创建新颖的语义分布。该框架采用具有双重奖励系统的组相对策略优化,鼓励单个样本的语义对齐和特征多样性,同时最大化样本集之间的多样性。在ADE20K和COCO数据集上的实验表明,S$^2$-RL的性能优于现有方法,并为该任务树立了新的基准。
-
FGD2HF网络通过频率引导融合增强语义分割
研究人员推出了一种新颖的双域网络FGD2HF,旨在通过有效利用频域信息来改进语义分割。该网络采用混合注意力编码器(NAHA)来捕捉局部和全局关系,并使用小波变换与增强(WTE)模块来精炼频率线索。这些组件促进了频率引导双域融合(FGDF)模块,该模块以低计算成本将频率引导整合到空间特征处理中。比较分析表明,FGD2HF-B在ADE20K和Cityscapes等基准测试中取得了有竞争力的结果,在效率和准确性方面优于现有方法。
-
Apple 研究人员发布 TEAL,用于高效低成本的语义分割
研究人员开发了 TEAL,一种新颖的语义分割主动学习框架,可在 Vision Transformers (ViTs) 的 token 空间内高效运行。与需要大量像素标注的先前方法不同,TEAL 使用冻结的 ViT 主干,并直接从其原生 token 晶格中选择信息位置。该方法采用两级 MaxHerding 策略和不确定性细化,显著减少了标注需求,在各种数据集上,仅需每张图像 10 个标注像素即可达到完全监督性能的 97%。
-
新方法提升 Vision Transformer 在图像分割方面的效率 · 跟踪 4 个来源
研究人员开发了新方法来提高 Vision Transformers (ViTs) 在图像分割任务中的效率。TEAL (Token-space Efficient Active Learning) 专注于语义分割的主动学习,通过直接在 ViT 的令牌格上操作,能够用极少的标记像素进行有效学习。对于语义分割,SCMerge (Spatial-Consistency-Aware Token Pair Merging) 通过同时考虑特征相似性…
-
ViTok 模型增强计算机视觉蒸馏中的密集语义
研究人员开发了 ViTok,一种新的模型,可改进计算机视觉任务中多教师蒸馏的密集语义。通过结合 SigLIP2 和 DINOv3-L 的见解,ViTok 解决了全局识别和密集语义准确性之间的权衡问题。该模型包含多项修改,包括拆分适配器头、不对称损失和掩码图像建模,在 ImageNet-1K 和 ADE20K 基准测试中取得了强劲的性能。
-
视觉 Transformer 显示出具有有限空间范围的涌现式物体绑定能力
研究人员发现视觉 Transformer (ViTs) 表现出一种涌现式的“物体绑定”能力,使它们能够辨别不同的图像块是否属于同一个物体。然而,这种能力在空间上是有限的,随着图像块之间距离的增加,绑定信号会显著减弱。这种有限的空间范围及其相关的基线在各种物体大小、ADE20K 和 COCO 等数据集以及 DINO 和 CLIP 等不同的模型骨干网络中都保持一致,这表明它是所学表征的一种内在属性。
-
稀疏自编码器赋能基础模型的视觉科学发现
研究人员开发了一种使用稀疏自编码器(SAEs)从基础模型中识别和排序视觉特征的方法,无需预先指定的概念即可实现科学发现。该方法在三个阶段进行了测试:一般概念再发现、领域特定概念再发现和驱动式特征排序。在ADE20K、FishVista和Heliconius butterflies等数据集上的评估中,与k-means聚类、PCA和SemiNMF等传统方法相比,SAEs在揭示模型表示中的语义结构方面表现更优。
-
无监督MoSA框架从运动数据中学习物体分割
研究人员开发了基于运动的万物分割(MoSA)框架,这是一个无监督框架,旨在克服像Segment Anything Model(SAM)这样的模型对海量手动标注的依赖。MoSA利用未标记的视频从运动中学习物体概念,通过生成运动伪标签、使用对比学习训练感知分组模型(PGM)以及将这些知识转移到用于图像分割的提示引导架构等阶段进行。在COCO和ADE20K等基准测试上的评估表明,MoSA的性能显著优于其他无监督方法,并达到了与监督式SAM相…
-
VisionHOPE:发布新的视觉骨干模型及预训练权重
一篇新的研究论文介绍VisionHOPE,一个被设计为自修改学习系统的视觉骨干模型。该论文提供了VisionHOPE不同尺寸(T/S/B)检查点的官方预训练权重。这些检查点可用于ImageNet-1K分类、COCO目标检测和实例分割以及ADE20K语义分割等任务。用户可以使用Hugging Face CLI下载单个或所有检查点。
-
G2TM 方法提升了 Vision Transformer 在不同架构下的效率
研究人员对图引导令牌合并 (G2TM) 方法进行了系统性研究,该方法旨在通过降低与自注意力机制相关的二次复杂度来提高 Vision Transformer (ViT) 的效率。研究发现,G2TM 的有效性主要是编码器的一个属性,在各种解码器架构以及语义分割和图像分类等任务中保持一致。G2TM 的最佳超参数取决于骨干网络的预训练和目标数据集,而不是解码器的选择,从而显著降低了分割模型的 GFLOPs 并提高了吞吐量。
-
新的CTOAC方法改进了视觉状态空间对偶模型的低比特量化
研究人员开发了一种新的后训练量化(PTQ)方法,称为通道感知、Token平衡、输出感知裁剪(CTOAC),以解决视觉状态空间对偶(VSSD)模型中的低比特量化挑战。该研究确定激活量化是关键瓶颈,并提出CTOAC学习每输入通道的裁剪边界,从而最小化重建损失。该方法在各种VSSD模型尺寸的激进精度设置下成功保持了ImageNet-1K的准确性并提高了鲁棒性,同时在COCO和ADE20K数据集上的目标检测和分割任务中也保持了性能。在RTX …
-
TailProp 提出用于视觉模型的自适应传播方法
研究人员推出了一种新颖的层次化视觉骨干网络 TailProp,该网络利用了尾传播算子 (TPO)。TPO 结合了高斯和柯西稳定过程传播器,能够根据内容实现自适应的空间影响。这种方法在图像分类、目标检测和语义分割等各种计算机视觉任务中取得了改进的性能,优于现有的传播基线。
-
LookThere! Sparse Vision by Reinforced Selection 框架通过强化选择减少计算量
研究人员开发了 LookThere,一个新颖的框架,它使用强化学习使视觉 Transformer 仅处理最相关的图像 token。通过训练一个独立的输入选择器和表示提取器,该方法显著降低了计算负荷,使模型能够在不依赖启发式方法的情况下学习关注点和查看内容。LookThere 展现出令人印象深刻的效率,仅使用 0.2% 的输入 token 即可保持准确性,并在分类、分割和回归等各种计算机视觉任务中表现出强大的泛化能力。
-
新的SELECT方法解决了语义分割中的灾难性遗忘问题
研究人员推出了一种新颖的类别增量语义分割(CISS)方法SELECT,旨在减轻灾难性遗忘和背景偏移。该方法通过上下文迁移注意力机制将新类学习与语义上相似的过去类联系起来,该机制聚合学习到的令牌以进行结构化初始化。为了保持表示的完整性,SELECT采用了受控噪声扰动和基于边距的损失函数。在Pascal VOC和ADE20K数据集上的实验表明,SELECT的性能优于现有方法,mIoU得分有所提高。
-
GramLoop框架在分布偏移下提升DINOv3密集预测模型
研究人员开发了GramLoop,一个旨在提高冻结的DINOv3密集预测模型在面对分布偏移时性能的新型框架。该方法在视觉骨干网络中集成了额外的计算,而不改变模型的权重或特定任务的组件。GramLoop通过重放Transformer层的一部分并强制通过Gram矩阵实现一致性,从而在保持空间关系的同时优化特征。实验表明,在包括COCO-O上的显著提升在内的各种偏移基准测试中,物体检测和语义分割都有显著改进,同时不会损害干净的ADE20K数据上的性能。
-
新的源编解码器在低比特率下增强了分布式语义分割
研究人员开发了两种新颖的源编解码器,以提高分布式深度神经网络在语义分割中的率失真性能,尤其是在极低比特率下。这些编解码器能够实现边缘设备和云平台之间的有效传输,在ADE20K和Cityscapes数据集上实现了低于每像素0.2比特的最新结果。
-
Iwin Transformer 通过交错窗口和卷积解决了 ViT 的复杂性问题
研究人员推出了一种新颖的层次化视觉Transformer——Iwin Transformer,旨在克服现有视觉Transformer(ViTs)的局限性。这种新架构在一个块内结合了交错窗口注意力和深度卷积,有效降低了注意力机制的二次复杂度。Iwin Transformer 还实现了增强的可扩展性,能够支持在不同分辨率下的微调以及从2D到3D应用的权重迁移。初步结果显示,在ImageNet-1K上的准确率有所提高,在Kinetics-4…