实体
Recursive Vision Transformers
Recursive Vision Transformers
PulseAugur coverage of Recursive Vision Transformers — every cluster mentioning Recursive Vision Transformers across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的方法出现，用于AI模型中高效的视觉Token修剪 · 跟踪6个来源
研究人员正在开发新的方法来优化视觉Transformer (ViTs) 和多模态大语言模型 (MLLMs)，通过修剪计算成本高昂的视觉Token。几篇论文提出了新颖的技术，以在不显著降低性能的情况下减少处理的Token数量。这些方法包括递归ViTs的训练后Token合并、使用专用寄存器的任务自适应修剪、预测中间层注意力以确定Token重要性、面向角色的区域分配以及用于设计修剪策略的AI驱动框架。
-
新的SoftMoR技术使Vision Transformers更深入、更高效
研究人员推出了一种名为Soft Mixture-of-Recursions (SoftMoR) 的新方法，通过使Vision Transformers (ViTs) 能够利用所有递归步骤的中间表示来增强它们。这种方法以Soft Recursive Vision Transformer (SR-ViT) 的形式实现，可以在参数增加极少的情况下创建更深入、更强大的ViTs。在ImageNet-1K上的实验表明，将SR-ViT-S的递归深度…