Ronan Docherty

ALiBi位置编码减少了视觉Transformer中的偏差

研究人员已经识别并解决了视觉Transformer（ViTs）中的位置偏差问题，特别是在DINOv2等模型中。这些偏差源于位置编码等架构选择，可能会阻碍在没有固有方向线索的图像任务上的零样本适应。研究表明，通过微调ViTs使用ALiBi相对位置编码，可以显著减少这些偏差，同时保留通用的语义理解。由此产生的无偏差特征在复杂显微镜图像的可训练分割中取得了成功。