multiGradICON

Vision-Language Models Enhance XRF-to-Optical Microscopy Localization

研究人员开发了一种新的方法，用于定位以不同显微镜成像模式拍摄的图像，特别是X射线荧光（XRF）和光学显微镜。这对于关联同一样本的互补测量至关重要，尤其是在XRF图仅覆盖光学图像的一小部分时。该研究评估了用于此任务的视觉语言模型（VLM），并将其与几何控制、模板匹配和其他无训练方法进行了比较。一种使用VLM预测作为候选、图像相似性进行选择的提议-验证工作流程被证明是有效的，特别是在结构差异显著的低对应场景中。