vision foundation backbone

新的SIGMA方法可自动生成图像操纵定位掩码

研究人员开发了SIGMA，一种用于自动生成图像操纵定位（IML）数据集像素级掩码的新方法。SIGMA利用包含数百万原始和编辑图像对的现有图像编辑数据集，解决了低成本数据采集的挑战。该系统在视觉基础骨干网络中使用语义特征差异，并通过跨模态细化结合指令派生的空间先验，以准确识别操纵区域，甚至考虑了意外的副作用。SIGMA在性能上优于现有的掩码生成器，并且在应用于公共编辑语料库时，创建了一个大量的训练集，显著提高了各种IML检测器的性能。