Angular Relevance

新的角度相关性方法提高了视觉语言模型中的物体定位精度

研究人员引入了一种名为角度相关性（$R_L$）的新方法，以改进自回归视觉语言模型中的视觉物体定位。该技术利用视觉标记嵌入与解嵌入矩阵行之间的余弦相似度，与注意力图和Logit Lens等现有方法相比，生成更清晰、更准确的定位热图。此外，还开发了角度物体感知损失（AOL），通过将视觉标记嵌入与物体概念对齐来进一步增强物体定位，在不影响视觉问答能力的情况下，在指代表达分割和类别级别分割方面表现出改进的性能。