Telecom Italia Sparkle

新的TMI方法通过混合T2I和I2I数据合成来增强实例分割

研究人员开发了一种名为TMI的新型混合流水线，它结合了文本到图像（T2I）和图像到图像（I2I）技术，以改进实例分割，特别是针对稀有类别。TMI系统利用T2I实现广泛的多样性，并采用师生方案来保证标签的可靠性，同时引入了VRAIN，一个用于将高置信度实例插入现有场景的I2I编辑器。这种方法增强了语义连贯性和视觉自然性，在LVIS基准测试中带来了显著的性能提升，在整体和稀有类别平均精度方面都有显著改进。