Concept Guidance

New CG-ICS method enhances in-context segmentation robustness

研究人员提出了一种名为概念引导的上下文内分割（CG-ICS）的新方法，以提高上下文内分割模型的鲁棒性。该方法利用多模态大语言模型（MLLM）从参考图像中提取高级语义概念，而不是仅仅依赖低级视觉匹配。CG-ICS系统使用这些概念以及视觉示例来激活一个冻结的SAM3骨干网络进行分割。实验表明，CG-ICS不仅达到了最先进的准确性，而且通过减少不同参考选择下的分割结果方差，显著增强了鲁棒性。