Leyla Naz Candogan

VIOLIN 通过空间先验增强了有限数据的视觉 Transformer

研究人员开发了 VIOLIN，一种用于视觉 Transformer (ViTs) 的新型掩码注意力机制，它增强了它们处理有限数据或较小模型容量图像的能力。通过空间填充曲线 (SFCs) 编码空间结构，VIOLIN 增加了最少的参数和计算开销，同时显著提高了各种计算机视觉任务的性能。评估显示，在需要空间信息的任务上准确率提高了高达 8.7%，在像素级任务上提高了高达 7.2%，证明了其在微调和预训练场景中的有效性。