LookThere!

LookThere! Sparse Vision by Reinforced Selection 框架通过强化选择减少计算量

研究人员开发了 LookThere，一个新颖的框架，它使用强化学习使视觉 Transformer 仅处理最相关的图像 token。通过训练一个独立的输入选择器和表示提取器，该方法显著降低了计算负荷，使模型能够在不依赖启发式方法的情况下学习关注点和查看内容。LookThere 展现出令人印象深刻的效率，仅使用 0.2% 的输入 token 即可保持准确性，并在分类、分割和回归等各种计算机视觉任务中表现出强大的泛化能力。