Open-vocabulary semantic segmentation
PulseAugur coverage of Open-vocabulary semantic segmentation — every cluster mentioning Open-vocabulary semantic segmentation across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Text-to-Seed框架使用扩散模型进行开放词汇量分割
研究人员开发了一种新颖的、无需训练的开放词汇量语义分割框架，名为Text-to-Seed (T2S)。该方法重新利用扩散模型（特别是Stable Diffusion）来生成文本引导的种子点。然后，这些种子点被用作Segment Anything Model (SAM)的提示，以生成精确的对象掩码。T2S在标准基准测试中表现出色，无需进行特定任务的训练或额外的标注，突显了语义基础与种子驱动的空间分割之间的协同作用。
-
新方法利用多模态伪标签和测试时自适应来增强开放词汇分割
研究人员开发了用于开放词汇实例和全景分割的新方法，旨在识别预定义类别之外的对象，而无需大量手动标注。一种方法，在 arXiv 论文中有所详述，使用 Grounded SAM 和 LLaVA 等模型生成的多模态伪标签，并通过 CLIP 引导过滤和 GPT 驱动的字幕重建进行增强。另一种方法，测试时原型自适应 (TPA)，是一种无训练的即插即用模块，在输出层面运行，使用未标注的部署域图像从 DINO 特征构建类别原型，以提高分割准确性。
-
新方法无需训练即可增强开放词汇语义分割
研究人员开发了一种名为原型引导文本校准（PTC）的新型无训练方法，以改进开放词汇语义分割。该技术通过从可靠的图像证据构建特定类别的视觉原型来解决通用文本概念与特定视觉表示之间的语义鸿沟。然后，这些原型校准文本嵌入，从而更准确地与实例特定的视觉数据对齐。PTC 可作为即插即用模块，在无需额外训练或外部模型的情况下增强现有方法。
-
新的 SAM-MI 框架提升了开放词汇语义分割性能
研究人员开发了 SAM-MI，一个旨在通过集成 Segment Anything Model (SAM) 来增强开放词汇语义分割 (OVSS) 的新颖框架。该框架解决了 SAM 倾向于过度分割以及将其掩码与标签结合的困难。SAM-MI 使用文本引导的稀疏点提示器 (Text-guided Sparse Point Prompter) 来更快地生成掩码，并采用浅层掩码聚合 (Shallow Mask Aggregation, SMAgg…
-
DINOde框架增强了语义分割的视觉-文本对齐能力
研究人员推出DINOde，一个新颖的框架，旨在通过持续对齐文本和视觉嵌入来增强开放词汇语义分割。该方法利用基于ODE的方法，结合语义文本流和全局上下文流组件，来演化文本嵌入并优化图像表示。通过采用速度切线投影，DINOde保持了特征空间的几何结构，并避免了常见的对齐问题，在各种基准测试中取得了最先进的成果。
-
新的基准和方法推动开放词汇遥感分割 · 跟踪到2个来源
研究人员开发了新的方法来改进遥感图像的开放词汇语义分割。RSGPNet 利用几何提示和一致性验证来优化分割掩码，性能优于现有方法。此外，还引入了一个新的基准 OVRSISBenchV2，它拥有更大的数据集和更多样化的类别，以更好地反映真实的地理空间应用。同时，还提出了一个名为 Pi-Seg 的基线模型，该模型采用正激励噪声机制来增强可迁移性，并在新基准上取得了优异的成绩。