Geocontext

新基准揭示视觉语言模型在地理定位任务中存在困难

研究人员推出了GeoContext，一个旨在评估视觉语言模型在地理定位任务中表现的新基准。该基准解决了两种失败模式：过度依赖用户提供的地理位置上下文以及错误确认地理位置声明的倾向。GeoContext包含开放式本地化（带有粗略地理位置提示）和150米半径内声明的二元验证任务。对五个模型的初步评估显示，在本地化准确性和验证方面存在显著问题，模型经常高估其对错误声明的置信度。