All-Mask Prediction

新型 STAMPlus 模型解决了 MLLM 的分割三难问题

研究人员推出了一种新颖的多模态大语言模型 (MLLM) 分割方法 STAMPlus，该方法解决了性能、对话能力和推理速度的三难问题。STAMPlus 在 STAMP 模型的基础上，实现了结构化全掩码预测，能够一次性识别和分割具有明确 ID 和边界框的多个目标。该方法在开放词汇语义分割和实例感知分割等各种分割任务中均取得了最先进的性能，同时与以前的方法相比显著降低了推理延迟。