Segment Anything Model 3
PulseAugur coverage of Segment Anything Model 3 — every cluster mentioning Segment Anything Model 3 across labs, papers, and developer communities, ranked by signal.
- 2026-05-22 product_launch Meta AI launched Segment Anything Model 3 (SAM 3), an advanced model for object detection, segmentation, and tracking. 来源
6 天有情绪数据
-
新数据集为野外鸟类检测的AI提供基准
研究人员开发了一个新的野外蓝知更鸟检测基准数据集，解决了鸟类体型小、背景杂乱和光照变化等挑战。该数据集包含超过6000张标注图像，并对各种检测和分割模型进行了评估。Faster R-CNN和Mask R-CNN等监督检测器总体表现最佳，而经过微调的开放词汇模型（如YOLO-World）也取得了有竞争力的结果。失败原因归因于多种因素的组合，而不仅仅是物体大小，包括尺度、亮度、杂乱和模糊。
-
新的FaVOS基准突显了视频对象分割评估中的缺陷
引入了一个名为FaVOS的新基准来评估视频对象分割（VOS）方法，特别是在对象间歇性出现的情况下。研究人员发现，现有的评估指标（如J&F）可能会导致微不足道的预测器优于SAM 3等先进模型，因为它们会奖励目标缺失的帧。为了解决这个问题，提出了一种新的指标Volumetric J&F，通过将掩码序列视为时空体积来更好地评估分割质量和时间结构。
-
Dyna3框架实现无训练4D动态场景重建
研究人员开发了Dyna3，一个新颖的框架，它能够利用深度基础模型进行动态4D场景重建，而无需任何微调。该方法利用了像Depth Anything 3这样的模型中的跨视图特征所包含的隐式运动区分信号，并结合了帧间的特征匹配。Dyna3还整合了视觉语言模型，为精确的对象分割生成语义提示，区分静态和动态元素。实验表明，Dyna3在动态对象分割方面优于现有的基于对应关系训练的方法，并在姿态估计和重建方面实现了显著更快的速度和更低的内存使用量。
-
HyperSAM：高光谱遥感的新基础模型
研究人员开发了HyperSAM，一个用于高光谱遥感的新型基础模型。该模型通过从多光谱图像合成高分辨率高光谱立方体并使用伪掩码进行监督，解决了现有数据集的局限性。HyperSAM利用了冻结的Segment Anything Model 3 (SAM3)架构，并针对高光谱数据进行了调整，包括一个可训练的编码器和一个专家混合掩码精炼器。实验证明了其在各种遥感任务中的有效性，表明高质量的合成数据可以优于嘈杂的真实世界监督。
-
新方法提升专业领域开放词汇语义分割能力
研究人员开发了两种新方法来增强专业领域的开放词汇语义分割（OVSS）。一种方法是偏好引导适应（Preference-Guided Adaptation），它利用提示不一致性生成偏好监督，在没有密集像素级标注的情况下适应模型。另一种方法是SegRAG，它采用检索增强空间提示（retrieval-augmented spatial prompting）和冻结的基础模型，构建一个类索引内存来指导分割。这两种技术在各种基准测试中都显示出显著的…
-
Feyn 发布 MultiMatte，一个可提示的图像背景移除模型
Feyn 发布了 MultiMatte，一个新颖的图像背景移除模型，它使用自然语言提示来识别和分离对象。MultiMatte 基于 Meta 的 Segment Anything Model 3 (SAM 3) 构建，采用低秩微调 (LoRA) 技术修改 SAM 3 的一小部分参数，显著提高了其分割能力。这种方法允许 MultiMatte 生成 alpha matte，与 SAM 3 的二值掩码相比，它为像素提供了更细致的不透明度值，…
-
LeCor 方法通过元学习训练改进 3D 肺肿瘤分割
研究人员开发了 LeCor，一种用于改进计算机断层扫描 (CT) 图像中 3D 肺肿瘤分割的新方法。LeCor 利用元学习的测试时训练，其中每位临床医生的纠正都作为训练信号来适应小型案例适配器。这种方法显著提高了分割精度，减少了未能达到目标精度的案例数量，并且与现有的微调方法相比，用更少的纠正轮次就能取得更好的结果。
-
新的SAM-Radar框架通过多模态传感器融合增强物体跟踪
研究人员推出了RGBTR-Motion，这是一个用于移动物体分割和跟踪的新基准数据集，集成了RGB、热成像和雷达流。他们还开发了SAM-Radar，一个利用这些多模态输入（特别是雷达数据）的框架，以提高在光照不足或遮挡等挑战性条件下的跟踪鲁棒性。SAM-Radar融合了校准的RGBT特征和投影的雷达回波，利用运动监督来区分真实运动，并将雷达数据与轨迹关联起来以保持物体身份。
-
新的CLON方法增强了零样本6D姿态估计
研究人员开发了CLON（Cue-Calibrated Linguistic Object Onboarding），一种用于零样本6D姿态估计的新型前端。CLON构建了一个语言语义记忆来指导提议生成，并使用对象集线索权重进行校准评分，从而无需对新对象进行特定任务的训练。这种方法显著提高了在基准数据集上的检测和分割精度以及下游6D姿态估计性能。
-
ENEAS 方法增强视频分割和实例跟踪
研究人员推出了一种名为 ENEAS 的新方法，旨在改进视频和其他数据中的实例跟踪和语义分割。ENEAS 解决了当前文本可提示分割模型（如 Segment Anything Model 3 (SAM 3)）的局限性，这些模型在处理时间幻觉、空间碎片化以及错误分类视觉上相似但本体上不同的对象时可能存在困难。ENEAS 系统结合了一个几何鲁棒的跟踪架构和一个语义验证层，该验证层使用视觉嵌入匹配和 VLM 细化来确保目标实例的准确识别和分割，…
-
ENEAS 方法增强文本提示的实例跟踪和语义发现
研究人员推出 ENEAS，一种旨在改进分割模型中文本提示的实例跟踪和开放概念语义发现的新方法。ENEAS 解决了当前基础模型（如 SAM 3）中存在的局限性，例如时间幻觉、空间碎片化和语义分类错误。该系统通过时间记忆扩展实现精确跟踪，并通过结合视觉嵌入匹配和条件 VLM 细化的语义验证层实现高质量分割。
-
新的MariSat数据集面向卫星图像中的海事目标分割
研究人员推出MariSat，这是一个专为卫星和航空图像中的海事目标实例分割设计的新数据集。该数据集包含1260张图像，对八个不同的海事目标类别进行了像素级标注。MariSat是使用半自动流水线开发的，该流水线结合了Segment Anything Model 3 (SAM 3) 以及后处理过滤器和通过CVAT平台进行的人工质量控制。这一新资源已被用于对SAM 3和YOLOv11等模型进行微调和基准测试，以实现实时海事监控。
-
新的MemMTL框架利用原型记忆增强多任务密集预测
研究人员开发了MemMTL，一个用于多任务密集预测的新框架，它利用一个可学习的任务状态原型记忆。该记忆精炼了从全局视觉上下文派生出的紧凑型任务状态，然后用于生成任务条件专家对数。这些对数与令牌级对数结合，并通过本地专家库和任务无关残差库进行路由，然后进行任务特定预测。该框架旨在提高预测质量和计算效率，并计划在NYUD-v2和PASCAL-Context等数据集上使用Segment Anything Model 3和Vision Tra…
-
新方法增强了无人机塔架检查的零样本分割能力
研究人员开发了一种名为显著性-深度条件化（Saliency-Depth Conditioning）的新方法，以改进通信塔部件在杂乱无人机图像中的零样本分割。该方法结合了视觉显著性和单目相对深度来创建粗略的塔架先验，有效抑制了不相关的背景元素。当与 Grounded-SAM 和 Segment Anything Model 3 等现有模型集成后，增强版本 SD-Grounded-SAM 和 SD-SAM 3 在 TOW-300 数据集上…
-
新方法使用SAM 3进行手术地标定位
研究人员开发了一种新的方法，通过利用Segment Anything Model 3 (SAM 3) 来定位手术视频中的功能性地标。该方法利用SAM 3的结构先验，在无需手动像素级标注的情况下提供密集的器械级上下文。一个粗略的多帧网络生成提示，以优化SAM 3的输出，从而提高尖端和锚点定位的预测精度。在包含60个手术视频的7,867个剪辑的数据集上进行的实验表明，尖端定位的F1得分为72.4%，锚点定位的F1得分为58.0%。
-
SAM3Dual增强SAM 3，无需微调即可进行视频对象分割
研究人员开发了SAM3Dual，一种增强Segment Anything Model 3 (SAM 3) 用于视频对象分割的新方法。该方法在第八届大规模视频对象分割（LSVOS）挑战赛的MOSEv2赛道上获得第三名，它将时间记忆分离为短期和长期分支。通过将这些记忆响应与确定性时间表融合，并用前一帧的置信度进行调制，SAM3Dual在无需特定任务训练或微调的情况下展现了具有竞争力的性能。
-
新框架使用视觉记忆指导成像任务中的人工智能模型
研究人员推出了一种新颖的框架——检索增强视觉提示（RAVP），旨在指导基础模型完成双光子钙成像等专业任务。RAVP不调整模型权重，而是在推理时将外部视觉记忆直接注入模型的输入中。该方法使用检索到的带注释的示例作为概念提示，仅通过输入设计即可实现适应。在Allen Brain Observatory数据集上的实验表明，RAVP在零样本神经元检测和实例分割方面持续改进，单个精心选择的示例比多个检索到的示例更有效。
-
基于SAM3的新方法实现了无标注手术器械分割
研究人员开发了一种新颖的两阶段框架，用于在内窥镜图像中分割手术器械，而无需手动标注。该方法利用分割一切模型3 (SAM3) 和通用文本提示“工具”来生成初始二值掩模。然后，使用视觉语言模型Qwen将这些掩模分类为特定的器械实例。虽然尚未达到完全监督方法的水平，但该技术在无标注手术器械分割方面显示出潜力，突显了SAM3的能力和局限性。
-
新框架利用基础模型改进航天器分割
研究人员开发了GeoDistill-Refine，一个新颖的两阶段框架，旨在利用基础模型提高航天器分割的准确性。该方法通过首先学习前景轮廓，然后用符号距离场、骨架和面积目标进行细化，来解决Segment Anything Model 3等模型生成的伪掩码中的几何误差。该框架在SpaceSense-Bench HJM数据集上展示了图像IoU和边界F1分数的显著提高，优于纯伪标签学生模型，并在其他领域取得了有竞争力的结果。
-
Tarot-SAM3框架增强SAM3以实现任意指代表达式分割
研究人员开发了Tarot-SAM3，一个旨在通过使Segment Anything Model 3 (SAM3)能够处理任意自然语言表达式来改进指代表达式分割 (RES) 的新框架。该框架分两个阶段运行：表达式推理解释器 (ERI) 用于解析表达式并将其重写为SAM3的鲁棒提示，以及掩码自精炼 (MSR) 阶段，使用DINOv3的特征关系来选择最佳掩码并对其进行精炼。该方法旨在克服SAM3在处理复杂表达式方面的局限性，并减少对多模态大…