一篇新的研究论文探讨了在极高压缩率和损坏输入数据下，使 Vision Transformers (ViTs) 在语义分割任务中更高效的方法。该研究比较了两种主要方法：结构化剪枝，即移除 ViT 架构内的冗余组件；以及 Token 缩减，即减少输入 Token 的数量。研究结果表明，虽然 Token 缩减在较低压缩水平下有效，但在严重压缩下性能会显著下降，而结构化剪枝则表现出更稳定的性能曲线。该研究提出了一种结合适度剪枝和 Token 合并的策略，在极高压缩水平下实现了更好的精度-鲁棒性权衡，为在资源受限环境中部署 ViTs 提供了一个实用的解决方案。 AI
影响 通过提高效率和鲁棒性，为在资源受限环境中部署用于分割任务的 Vision Transformers 提供了一种实用的方法。
排序理由 详细介绍提高 AI 模型效率新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2607.02237v1 Announce Type: new Abstract: Vision Transformers (ViTs) are strong backbones for semantic segmentation, but their computational cost limits deployment. Recent token compression methods for efficient transformer-based segmentation reduce this cost by decreasing …
Vision Transformers (ViTs) are strong backbones for semantic segmentation, but their computational cost limits deployment. Recent token compression methods for efficient transformer-based segmentation reduce this cost by decreasing the number of tokens. However, existing evaluati…