Segment Anything
PulseAugur coverage of Segment Anything — every cluster mentioning Segment Anything across labs, papers, and developer communities, ranked by signal.
-
新方法推动开放词汇语义分割
研究人员开发了新的开放词汇语义分割方法，该任务涉及使用灵活的类别词汇为图像分配语义标签，而无需像素级训练数据。一种方法 LASA 聚合了 Vision Transformers 不同层的注意力图，以捕捉全局结构和局部细节，从而提高分割精度和空间连贯性。另一种方法将可微分模糊逻辑与 SAM 等基础模型集成，以改进伪标签并训练分割模型，取得了甚至超越密集监督基线的最新成果。第三种技术 Open-V 使用一种无需训练的框架，协调 SAM 和…
-
PanoSAMic模型利用SAM特征增强全景图像分割
研究人员开发了PanoSAMic，一种利用预训练的Segment Anything (SAM)模型进行全景图像分割的新方法。该方法将SAM的编码器改编为输出多阶段特征，并包含一个用于选择相关模态和特征的融合模块。该系统在其解码器中利用球形注意力和双视图融合来解决全景图像中常见的失真和边缘不连续问题。PanoSAMic在Stanford2D3DS和Matterport3D等基准测试中，在各种数据模态上都展现出了最先进的性能。
-
H-Sets 框架揭示图像分类器中的特征交互
研究人员开发了 H-Sets，一个旨在揭示和归因图像分类器中高阶特征交互的新框架。该方法超越了对单个特征的分析，以理解特征组如何共同影响模型的输出。H-Sets 利用输入 Hessian 来检测交互特征对，然后将它们合并成连贯的集合，并采用集成方向梯度（Integrated Directional Gradients）的集合级扩展进行归因。在各种模型和数据集上的评估表明，与现有技术相比，H-Sets 产生的显著性图更具可解释性和忠实性。
-
SAM 3：AI之眼 — Nikhila & Pengchuan (Meta Superintelligence)，特邀 Joseph Nelson (Roboflow)
Meta AI 发布了 SAM 3，这是其 Segment Anything 项目的一项重大进展，能够使用自然语言提示在图像和视频中进行概念分割、检测和跟踪。该新模型通过实时识别诸如“黄色校车”等概念的每一个实例，并以惊人的速度，实现了人类水平的详尽性。SAM 3 与 Gemini 等多模态大语言模型集成，可执行复杂的视觉推理任务，并通过在 Roboflow 平台上的应用，已节省了超过 130 年的标注时间。