Byeongju Woo

新型CAFT模型提升长图文理解能力

研究人员开发了一种名为CAFT（Cross-domain Alignment of Forest and Trees）的新型视觉语言模型，旨在更好地理解长而详细的图像标题。与以往侧重于主要场景线索的模型不同，CAFT采用分层方法，学习局部文本-区域对齐和全局图像-文本对齐。这种方法使CAFT能够识别图像中的语义部分，并将它们组合成全面的理解，在六个长文本检索基准测试中取得了最先进的性能。