Food Image Segmentation

LLM 通过新颖的语言注入模块增强食物图像分割

研究人员开发了两个新颖的模块 LIM-F 和 LIM-Q，通过整合源自大型语言模型 (LLM) 的食材标签来增强食物图像分割。这些模块可以添加到现有的图像编码器和解码器中，而无需预先对齐的图像-文本数据。当应用于 FoodSeg103 基准测试时，所提出的方法取得了最先进的结果，其中 LIM-Q 和 Swin-L 编码器达到了 55.0 mIoU。该方法还证明了其在基于 CNN 的架构上的有效性，并且 GPU 内存使用量仅有适度增加。