English(EN) When Does Resolution Help a Frozen Backbone? Global Attention at Resolution Predicts Scalable Adaptation for Camouflaged and Marine Animal Segmentation

视觉模型适应性取决于高分辨率下的全局注意力

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-07 04:00

研究人员发现，冻结的视觉基础模型适应细粒度分割任务的能力，很大程度上取决于骨干网络是否将全局注意力应用于高分辨率的令牌集。在整个网格上进行全局注意力的各向同性视觉 Transformer (ViT) 随着分辨率的提高而持续改进，而那些在全局阶段之前对信息进行池化的分层骨干网络则在较低分辨率下达到平台期。这种效应特定于低秩适应技术。一个名为 SALT (Side-stem, Attention-gated U-Net, Low-rank Tuning) 的新流程，使用在强大的各向同性骨干网络上的仅 RGB 通道，在海洋动物分割基准测试中达到了新的最先进性能，在 MAS3K 上达到了 0.878 的 mIoU。 AI

影响确定了冻结视觉模型有效微调的关键架构特征，可能指导未来分割任务的模型开发。

排序理由该集群描述了一篇详细介绍视觉模型适应性研究结果的论文，并介绍了一个新流程。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CV TIER_1 English(EN) · Tyler Rust, Chandra Kambhamettu · 2026-07-07 04:00

When Does Resolution Help a Frozen Backbone? Global Attention at Resolution Predicts Scalable Adaptation for Camouflaged and Marine Animal Segmentation

arXiv:2607.02708v1 Announce Type: new Abstract: Adapting frozen vision foundation models to fine-grained segmentation now largely depends on backbone selection. Whether the backbone applies global attention to a high-resolution token set predicts whether a low-rank adapter turns …

报道来源 [1]

When Does Resolution Help a Frozen Backbone? Global Attention at Resolution Predicts Scalable Adaptation for Camouflaged and Marine Animal Segmentation

相关实体

相关话题