Segment Anything Model 3
PulseAugur coverage of Segment Anything Model 3 — every cluster mentioning Segment Anything Model 3 across labs, papers, and developer communities, ranked by signal.
- 2026-05-22 product_launch Meta AI launched Segment Anything Model 3 (SAM 3), an advanced model for object detection, segmentation, and tracking. 来源
6 天有情绪数据
-
新方法增强多模态工业异常检测 · 已追踪2个来源
研究人员开发了两种不同的方法来改进多模态工业异常检测。第一种方法，调谐反向蒸馏（TRD），利用多分支设计和跨模态调谐器来增强正常特征的学习，同时有效检测不同模态的异常。第二种方法，全球逻辑与局部搜索（GLLS），是一个无训练框架，利用大型多模态模型和蒙特卡洛树搜索进行可验证的异常检测，在推理上下文中组织参考和规范。这两种方法都旨在推进工业环境中识别缺陷的最新技术水平。
-
新AI方法通过视频分析和步态动力学识别野生动物
研究人员开发了一种新颖的、自动化的基于视频的系统，通过分析步态动力学来识别个体野生动物。该方法利用Segment Anything Model 3 (SAM3)创建精确的动物轮廓蒙版，然后由ResNet18网络处理空间特征，并由VideoPrism transformer处理时间运动分析。该系统生成独特的步态表示，并使用余弦相似度进行比较，从而无需物理标记或侵入性标记即可对个体进行聚类。对各种物种进行的实验表明，根据运动模式区分个体方…
-
新方法可视化MLLM对艺术品描述的推理过程
研究人员开发了一种名为Token激活图（TAM）的新方法，用于理解多模态大型语言模型（MLLM）描述艺术品时背后的视觉推理过程。TAM生成热力图，突出显示模型为每个生成的token所使用的具体视觉证据，有助于区分视觉基础和对文本先验的依赖。研究发现，视觉基础的程度因token的语义类别而异，MLLM在艺术家归属方面的准确性高于预测艺术品标题。
-
Together AI 发布用于 LLM 推理的开源并行内核构建器
Together AI 发布了并行内核构建器 (PKB)，这是一个旨在优化大型语言模型推理性能的开源工具。PKB 可以识别并生成新颖的内核，例如用于 NeMo 词汇并行 log-probs 和 Hyena 上下文并行的内核，这些内核并未公开文档化。该工具已展示出显著的加速效果，其中一个内核的性能从标准的 320.6µs 提升至 87.9µs，并且该项目鼓励社区贡献。
-
S-Agent框架增强VLMs进行3D空间推理 · 跟踪4个来源
研究人员推出S-Agent，一个旨在增强视觉语言模型（VLMs）在3D环境中进行空间推理的新框架。S-Agent整合了时间记忆和一系列空间工具，能够从多视图图像中持续理解3D世界，超越了静态、帧级别的分析。该框架允许VLMs充当语义规划器，决定需要什么证据，而空间工具则将物体定位在2D，将其提升到3D，并将这些信息聚合为空间知识。实验表明，S-Agent在无需重新训练的情况下就能改进开源和闭源VLMs，并且经过微调的版本S-Agent…
-
AI模型在ICRA 2026 GOOSE 2D分割挑战赛中取得顶尖排名 · 追踪4个来源
研究人员为ICRA 2026 GOOSE 2D细粒度语义分割挑战赛开发了先进的方法，并取得了顶尖排名。一个团队利用Segment Anything Model 3 (SAM3) 结合自蒸馏技术和多尺度测试时增强，以69.73%的mIoU获得第四名。另一组利用DINOv3结合Mask2Former解码器和集成方法，以76.57%的综合得分获得第一名。第三个参赛项目GOOSE-M2F，通过调整Mask2Former并结合特定模块和训练策略…
-
SAM 3通过参数高效微调适应医学成像
研究人员开发了一种新方法，用于将分割一切模型3（SAM 3）适应于从4DCT图像生成内部靶体积（ITV）。这种参数高效微调方法利用低秩适应（LoRA）和硬负例挖掘策略，显著提高了医学成像中的分割精度并减少了伪影。该框架在最少标注数据的情况下展现出高性能，并可在单个消费级GPU上进行训练，为自适应放疗提供了一个可扩展且数据高效的解决方案。
-
AI通过新的分割技术加速图像标注 · 跟踪到2个来源
研究人员开发了新的方法来加速工业应用的图像标注。一项研究表明，使用无监督计算机视觉算法可以将材料科学中语义分割任务的时间从170小时减少到37小时，减少约78%。另一篇论文介绍了一种名为子语义图像分割的新方法，该方法将语言与可提示分割骨干相结合，根据外观模式而不是仅仅根据对象名称来划分图像。这种新方法以及一个名为TextureADE的自定义数据集（源自ADE20K）旨在通过解决语言泄露和提示竞争等问题来提高分割精度。
-
ActiveSAM框架提升分割速度和准确性
研究人员开发了ActiveSAM，一个新颖的框架，旨在利用Segment Anything Model 3 (SAM 3) 提高开放词汇语义分割的效率和准确性。这种无需训练、零样本的方法通过识别与每张图像相关的活动类别子集来优化分割过程，从而降低计算负载。ActiveSAM在速度和准确性方面均有显著提升，优于SegEarth-OV3等现有最先进方法，并对图像损坏表现出强大的鲁棒性，使其适用于现实世界应用。
-
图像生成器被证明是通用的视觉学习者
研究人员已经证明，图像生成模型可以作为强大的通用学习者用于计算机视觉任务。通过在模型的原始数据和视觉任务数据的混合集上对一个名为 Nano Banana Pro 的模型进行指令微调，他们创建了 Vision Banana。该模型在分割和深度估计任务上取得了最先进的成果，性能优于专用模型。研究结果表明，为图像生成而训练本身就建立了强大的视觉理解能力，这可能会将计算机视觉的范式转向生成式预训练以构建基础模型。
-
PlayClass管道自动化家禽玩耍行为分类
研究人员开发了PlayClass，这是一个旨在利用自顶向下视频分析自动分类家禽玩耍行为的新管道。该系统采用SAM 3和YOLO引导分块的长期跟踪来提高准确性，并利用图像和视频基础模型的冻结嵌入。虽然手工制作的运动特征显示出有竞争力的结果，但V-JEPA 2.1在与这些特征集成时表现出卓越的性能，达到了77.0的宏平均F1分数。该研究强调了由于运动学特征相似和鸟类之间遮挡而区分玩耍行为的挑战，但为自动动物福利监测提供了有希望的证据。
-
SAM 3赋能零标注训练，实现高效YOLOv8农业模型
研究人员开发了一种新颖的方法，通过利用Segment Anything Model 3 (SAM 3)来训练用于精准养猪的高效YOLOv8目标检测模型。该方法使用SAM 3作为自动标注器生成伪标签，无需手动数据标注。由此产生的SAM 3训练的YOLOv8m模型实现了79.4%的平均精度均值（mAP），并显著降低了推理延迟，使其适用于智慧农业中的实时边缘部署。
-
Meta AI 发布 SAM 3，用于高级图像和视频对象跟踪
Meta AI 推出了 Segment Anything Model 3 (SAM 3)，这是一个用于图像和视频中对象检测、分割和跟踪的高级模型。新版本支持文本、示例和视觉提示，并包含模型检查点、评估数据集和微调代码。此外，Meta 还推出了 Segment Anything Playground 以方便实验，并将 SAM 3 集成到 Instagram 和 Meta AI 应用等产品中。
-
Alta Daily 时尚应用利用 Meta 的 SAM 实现衣橱数字化
Alta Daily 是一款于 2025 年推出的时尚应用程序，它利用 Meta 的 Segment Anything Model (SAM) 来实现用户衣橱的数字化。该应用程序允许用户上传服装照片，SAM 会以高精度对其进行分割，从而使应用程序能够创建服装搭配推荐和虚拟试穿。此次集成显著降低了 Alta Daily 的运营成本，使其能够经济高效地处理数百万张图像，并将精力集中在提升用户体验上。
-
新的COCOTree数据集支持分层视觉分解
研究人员推出了COCOTree，这是一个用于开放树状视觉分解任务的新数据集和基准。该任务涉及将图像分割成具有灵活粒度的视觉组件的层次树。该数据集是使用一种新颖的流程生成的，该流程结合了大型视觉语言模型和SAM 3，用于语义推理和几何基础，产生了超过2.1K张图像和1.8M个结构节点，拥有3.5K个标签的开放词汇表。还提出了一种新的评估指标Open Tree Quality (OTQ)，用于评估掩码精度、标签准确性和结构一致性。
-
AI系统通过视频分析增强施工安全监控
研究人员开发了一种新的系统，利用视频分析来监控施工现场安全。该流程通过一个三阶段的架构处理来自各种摄像头的视频，首先进行个人防护装备和危险的物体检测，然后进行分割优化，最后进行复杂的VLM验证过程。这个先进的验证阶段使用了一个Persona-Scaffolded对抗性思维链协议来提高精度并控制幻觉，将违规行为映射到OSHA标准并生成工人安全报告。
-
AI模型为边缘牲畜监测进行蒸馏，减少VRAM需求
研究人员开发了一种轻量级蒸馏方法，用于SAM 3和DINOv3等大型基础模型，使其能够在边缘设备上部署用于牲畜监测。蒸馏后的管道显著减少了参数数量和VRAM使用量，能够适应NVIDIA Jetson Orin NX的配置。这一进展支持了精准畜牧业的设备端视觉分析，能够对动物健康和行为进行回顾性分析。
-
从场景到物体：文本引导的双注视预测
研究人员开发了一种新颖的双分支注视预测框架，以改进自动驾驶中可解释的驾驶员注意力预测。该框架通过构建一个名为 G-W3DA 的新物体级驾驶员注意力数据集来解决现有数据集的局限性，该数据集使用多模态大语言模型和 Segment Anything Model 3 (SAM3) 将注视解耦为物体级掩码。所提出的 DualGaze-VLM 架构利用这些数据来实现意图驱动的空间锚定，在空间对齐指标上优于当前最先进的模型，并生成被人类评估者认为是…
-
新框架MemOVCD和OmniOVCD推进开放词汇变化检测
两篇新研究论文介绍了遥感图像中开放词汇变化检测的新方法。MemOVCD利用跨时空记忆推理和全局-局部自适应校正来改善时间耦合和空间一致性，在多个基准测试中取得了良好的性能。OmniOVCD通过利用Segment Anything Model 3 (SAM 3) 和协同融合到实例解耦策略来简化该过程，在四个数据集上展示了最先进的结果。
-
SAM 3：AI之眼 — Nikhila & Pengchuan (Meta Superintelligence)，特邀 Joseph Nelson (Roboflow)
Meta AI 发布了 SAM 3，这是其 Segment Anything 项目的一项重大进展，能够使用自然语言提示在图像和视频中进行概念分割、检测和跟踪。该新模型通过实时识别诸如“黄色校车”等概念的每一个实例，并以惊人的速度，实现了人类水平的详尽性。SAM 3 与 Gemini 等多模态大语言模型集成，可执行复杂的视觉推理任务，并通过在 Roboflow 平台上的应用，已节省了超过 130 年的标注时间。