ADE20K
PulseAugur coverage of ADE20K — every cluster mentioning ADE20K across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新型视觉SSM消除方向扫描，提升图像识别能力
研究人员推出了一种新颖的二阶非因果状态空间模型（SSM），名为Vision Non-Causal Trapezoidal Mamba (VNCT)，专为视觉识别任务设计。与依赖方向性标记扫描的先前视觉SSM不同，VNCT在单次传递中同时处理所有图像标记，消除了方向偏差并降低了推理延迟。这种方法产生了更具方向鲁棒性的表示，从而在ImageNet-1K分类、COCO目标检测和ADE20K语义分割等基准测试中取得了更好的性能，尤其是在需要精…
-
新的深度剪枝方法提高了视觉Transformer的效率
研究人员开发了一种名为HetDPT的新方法来改进视觉Transformer（ViTs）的深度剪枝。该方法考虑了不同层之间的异构性，而这是先前深度剪枝技术的局限性。HetDPT避免了维度不匹配的问题，并在ImageNet-1K和CIFAR-100等数据集上实现了显著的加速，同时保持了准确性。当与宽度剪枝结合时，HetDPT+在极端的ViT剪枝方面设定了新的最先进水平，在接近无损准确率的情况下实现了更高的加速比。
-
PixCon框架通过清洁正例对比学习增强半监督分割 · 已追踪2个来源
研究人员推出了PixCon，一个新颖的半监督语义分割框架，旨在通过利用基础模型来提高准确性。PixCon采用清洁正例像素对比学习方法，并带有每类内存库，通过构建确保无污染的正例集。该方法旨在更有效地构建嵌入空间，在PASCAL-VOC、Cityscapes和ADE20K等数据集上提供优于现有基线模型的性能。
-
面向对象的LeJEPA利用SAM改进图像表示学习
研究人员开发了LeJEPA的面向对象版本，这是一种用于图像编码器的自监督学习方法。通过利用SAM生成的对象掩码，这种新方法旨在提高数据效率，优于传统的图像级方法。面向对象的LeJEPA在各种下游任务中表现出卓越的性能，包括跟踪、分类、分割和重新识别，即使在缩减的数据集上进行训练也是如此。
-
ViT 分割方法在高压缩下的对比研究
一篇新的研究论文探讨了在极高压缩率和损坏输入数据下，使 Vision Transformers (ViTs) 在语义分割任务中更高效的方法。该研究比较了两种主要方法：结构化剪枝，即移除 ViT 架构内的冗余组件；以及 Token 缩减，即减少输入 Token 的数量。研究结果表明，虽然 Token 缩减在较低压缩水平下有效，但在严重压缩下性能会显著下降，而结构化剪枝则表现出更稳定的性能曲线。该研究提出了一种结合适度剪枝和 Token …
-
新的WBMM技术提高了大卷积核的效率
研究人员开发了一种名为窗口化批处理矩阵乘法（WBMM）的新技术，以提高大卷积核深度卷积的效率。传统方法随着卷积核尺寸的增加而出现性能下降，但WBMM将输入分割成窗口并使用偏置表构建权重矩阵，通过批处理矩阵乘法实现规则的内存访问。该方法在更大的窗口下显示出更高的吞吐量，并在ImageNet-1K、COCO和ADE20K等基准测试中取得了相当或更好的准确率，同时在各种硬件平台上实现了显著的训练加速。
-
新的LUMA适配器可对图像分割骨干网络进行公平的基准测试
研究人员推出了一种新的轻量级通用掩码适配器LUMA，旨在标准化图像分割Transformer骨干网络的基准测试。该适配器充当一种与骨干网络无关的头部，通过将任何骨干网络视为黑盒特征提取器来实现公平比较。使用LUMA进行的实验表明，预训练目标（而非架构）是分割质量的主要驱动因素，并且传统的“高效”令牌混合器在高分辨率下并未提供效率优势。
-
新的训练方法消除了 Vision Transformers 中的位置嵌入
研究人员开发了一种名为 Active Spatial Guidance (Guidance) 的新训练技术，消除了 Vision Transformers (ViTs) 中对显式位置嵌入的需求。通过在训练期间对最后一层 patch token 应用辅助的二维坐标回归损失，Guidance 直接从数据中诱导空间组织。该方法在 ImageNet-100 分类和 ADE20K 语义分割等任务上持续提高了性能，优于传统的注入式位置机制，如学习…
-
Reload-Mamba 通过新颖的状态空间建模增强语义分割
研究人员开发了 Reload-Mamba，这是一个利用 Mamba 类状态空间模型来增强多类别语义分割的新颖框架。该方法通过引入边界监督局部细节先验、类别不确定性感知重载门（Reload Gate）以及分层多级别重载机制（hierarchical multi-level Reload mechanism），解决了序列传播中的响应稀释问题。这些创新共同提高了模型恢复关键边界和细节敏感响应的能力，在 ADE20K 和 Cityscapes…
-
新的 ToaSt 框架提高了 Vision Transformer 的效率
研究人员开发了一个名为 ToaSt 的新框架，旨在提高 Vision Transformer (ViTs) 的计算效率。ToaSt 将策略分离应用于 ViT 架构的不同部分，对注意力模块应用头式结构化剪枝，并对前馈网络应用一种称为 Token 通道选择 (TCS) 的免训练方法。这种方法在图像分类、检测和分割等各种模型和下游任务中都展示了改进的准确性和效率权衡。
-
AI通过新的分割技术加速图像标注 · 跟踪到2个来源
研究人员开发了新的方法来加速工业应用的图像标注。一项研究表明，使用无监督计算机视觉算法可以将材料科学中语义分割任务的时间从170小时减少到37小时，减少约78%。另一篇论文介绍了一种名为子语义图像分割的新方法，该方法将语言与可提示分割骨干相结合，根据外观模式而不是仅仅根据对象名称来划分图像。这种新方法以及一个名为TextureADE的自定义数据集（源自ADE20K）旨在通过解决语言泄露和提示竞争等问题来提高分割精度。
-
RATS！新型Transformer架构在视觉模型中发现物体部件
研究人员推出了RATS（Register Attention Transformers），一种新颖的自监督视觉模型架构，旨在发现类似于人类物体部件识别的组合结构。RATS利用可学习的寄存器令牌，通过瓶颈路由图像块信息，寄存器无需显式部件标注即可专门化为原型语义区域。该方法在分割基准测试中表现出色，平均比基线模型高出+12 mIoU，并在ADE20K和COCO等数据集上显示出持续的提升。
-
新证明改进了AI风险控制和接受率
研究人员开发了一种用于自适应选择一致风险控制的新有限样本证明，旨在提高选择性预测器的安全性和实用性。该证明同时界定了选择的风险、接受概率和部署效用，提供了一种比以前方法更精细的途径。在ImageNet和COCO等数据集上的实证结果表明，与现有技术相比，认证接受率有了显著提高。
-
新的D3S2方法为语义分割提炼数据集
研究人员开发了D3S2，一个专门为语义分割任务设计的、新颖的数据集提炼框架。该方法通过一个涉及平衡掩码选择和扩散引导图像合成的两阶段方法，解决了类别不平衡和精确像素对齐等挑战。D3S2通过引导扩散采样确保空间对齐并提高训练效用，即使在1%的压缩率下，也能在基准数据集上显著提高平均交并比（mIoU）分数。
-
Vision Transformers improved with selective token interaction
研究人员发现了一种称为“语义扩散”的现象，该现象会随着时间的推移降低 Vision Transformers (ViTs) 在密集预测任务中的性能。当全局语义信息不恰当地通过 patch tokens 扩散时会发生这种情况。为了解决这个问题，该研究提出使用稀疏注意力机制，特别是 entmax-1.5，使 token 交互更具选择性。这一改进显著提高了在 VOC、ADE20K 和 Cityscapes 等语义分割基准上的性能，同时保持了…
-
视觉模型摒弃激活函数，采用多项式替代方案
研究人员开发了用于视觉模型的新型无激活骨干网络架构，使用多项式函数替代ReLU或GELU等传统逐点非线性函数。这些集成到MetaFormer框架中的新颖模块，在ImageNet分类和语义分割等任务上，表现出与基于激活的模型相当或更优的性能。研究还表明，这些多项式变体在需要较低计算成本的情况下，性能优于先前专门的多项式网络。
-
新的TsallisPGD攻击方法改进了对语义分割模型的对抗性攻击
研究人员开发了TsallisPGD，一种新颖的对抗性攻击方法，旨在更有效地针对语义分割模型。这种新方法利用Tsallis交叉熵（标准交叉熵的广义形式）来适应性地调整跨像素的梯度加权。在Cityscapes和Pascal VOC等数据集上的实验表明，TsallisPGD在降低模型准确性和平均交并比（mIoU）方面优于现有方法。
-
AdaVFM 框架使用 LLM 来适应边缘设备的视觉模型
研究人员开发了 AdaVFM，一个旨在提高大型视觉基础模型在边缘设备上效率的新框架。该系统利用多模态 LLM 进行运行时控制，根据场景和任务的复杂性动态调整计算负载。实验表明，AdaVFM 显著改善了准确性-效率权衡，将计算成本降低了高达 77.9%，同时保持了高准确性。
-
FractalMamba++ 使用希尔伯特曲线跨分辨率扩展视觉模型
研究人员推出了 FractalMamba++，这是一种增强型视觉骨干网络，旨在提高基于 Mamba 的模型在处理高分辨率输入时的性能。这种新架构利用希尔伯特曲线的几何特性对图像块进行序列化，确保更好的空间连续性并减轻长序列中的信息衰减。该系统采用了新颖的分层跳跃连接和分形感知位置编码技术，以保持基于实际空间邻近度的特征交互。
-
标准知识蒸馏在语义分割中被证明有效
一篇新的研究论文表明，标准的知识蒸馏技术在语义分割任务中具有惊人的有效性。研究发现，在考虑计算预算的情况下，标准的基于logit和基于特征的蒸馏方法优于更复杂、特定于分割的方法。基于特征的蒸馏在Cityscapes和ADE20K等基准数据集上取得了最先进的结果，一个更小的学生模型与其更大的教师模型的性能非常接近。