Segment Anything Model 3
PulseAugur coverage of Segment Anything Model 3 — every cluster mentioning Segment Anything Model 3 across labs, papers, and developer communities, ranked by signal.
- 2026-05-22 product_launch Meta AI launched Segment Anything Model 3 (SAM 3), an advanced model for object detection, segmentation, and tracking. 来源
8 天有情绪数据
-
新框架SegAnyFruit支持边缘部署的水果分割
研究人员开发了SegAnyFruit (SAF)框架,旨在创建轻量级的水果实例分割模型,这些模型可以泛化到各种农业环境并在边缘设备上部署。该框架采用多阶段训练过程,首先进行通用掩码预训练,然后对WebFruits数据集中的自动标注的网络图像进行广泛中期训练,最后在PaperFruits数据集上进行人工验证的农业精炼。这种全面的方法涉及165种水果的733,000张图像和966万个掩码,使SAF-RF-DETR-XL模型在基准测试中取得…
-
新研究探索 AI 图像编辑技术的高级控制
两篇新研究论文探索了图像生成和编辑的高级技术。第一篇论文“PromptPack”引入了一种无需训练的方法,通过提供明确的“编辑指南”(指定编辑的空间区域并将概念映射到这些区域)来增强扩散编辑器。该方法旨在提高图像修改的精度和内容保留。第二篇论文研究了“权重空间编程”(WSP)作为一种扩散编辑方法,并将程序构建与分数引导的细化进行了比较。它表明,虽然 WSP 程序可以改善图像生成的某些方面,但需要仔细评估程序构建和修订阶段。
-
年轻团队在48小时内收集自己的数据,赢得了Embodied AI挑战赛 · 跟踪1个来源
一支平均年龄25岁的TARS团队赢得了蚂蚁集团灵玢举办的首届具身大模型挑战赛。该团队由一名研究生领导,在48小时内从零开始收集自己的数据集,给评委留下了深刻印象,并赢得了80,000元的奖金。EVA和SST等其他团队也展示了创新的数据收集和模型微调方法,以提高在水果放置和垃圾清理等任务上的性能。
-
新的PVIS-10K数据集增强了基于无人机的屋顶太阳能电池板检测
研究人员推出了PVIS-10K,一个旨在通过无人机图像改进屋顶光伏检测的新数据集。该数据集包含超过10,000张高分辨率图像,对中国多个城市的超过63,000个单独的光伏组件进行了详细标注。PVIS-10K旨在推进组件定位和分割在自动化无人机检测中的研究,为Segment Anything Model 3等模型提供基准。
-
新框架利用AI和无人机高保真测绘太阳能电池板
研究人员开发了一种新颖的无训练框架MV-PVMapper,用于利用多视角无人机影像进行高保真光伏组件测绘。该系统利用Segment Anything Model 3 (SAM 3)进行初始分割,然后通过摄影测量进行几何校正和迭代优化。该方法在组件恢复和描绘方面取得了卓越的准确性,而无需特定任务的标注或模型再训练。
-
AgentCount 工作流使用 LLM 和 SAM 3 自动化微生物菌落计数
研究人员开发了 AgentCount,一个开源的代理工作流,旨在自动化琼脂平板图像的菌落计数,这一过程对于食品安全和微生物学研究至关重要。该工作流利用 Segment Anything Model 3 (SAM 3) 进行菌落检测,并采用大型语言模型 (LLM) 代理生成结果的叙述性解释。AgentCount 旨在通过保留分割掩码和质量分数等中间输出来提高效率和可追溯性,并在与先前研究的回顾性比较中显示出高精度。
-
新的量化方法提高了 Segment Anything Model 3 的效率
研究人员开发了一种名为保持语义量化(SPQ)的新型训练后量化技术,以降低 Segment Anything Model 3(SAM 3)的内存和计算成本。该方法旨在缓解提示对齐漂移问题,即量化后的模型可能会选择错误的物体或在视频帧之间丢失跟踪。SPQ 通过为概念敏感参数分配更多的校准权重,保留残差特征,并纠正视频内存中的平均误差来实现这一点,所有这些操作都不需要添加推理算子。
-
新的CASE基准评估AI分割模型在正负视觉提示下的表现
研究人员引入了指定视觉提示分割(SVPS),一个利用正负视觉示例来定义目标概念的少样本语义分割新框架。为了评估该框架,他们创建了CASE基准,该基准基于COCO和PACO数据集,包含六个需要基于视觉提示进行排除和消歧的任务家族。在测试中,Segment Anything Model 3 (SAM 3) 在正向提示下表现强劲,但在解释负向提示作为排除证据方面遇到困难。为了改进这一点,开发了一种名为概念提示适配(CPA)的基于LoRA的适…
-
研究人员发现文本可控视觉编码器存在社会偏见
研究人员在文本可控视觉编码器(特别是SteerViT模型)中发现了显著的社会偏见。这些模型旨在根据文本提示指向图像区域,但研究发现它们会表现出人口统计学画像特征,在涉及“某人”的提示时不成比例地选择男性,在涉及犯罪相关术语时则选择黑人个体。研究追溯到模型的交叉注意力层发现了这种偏见,基础模型或其他经过测试的地面模型(如CLIPSeg和Grounding DINO)则不存在此偏见。为解决这些问题,开发了一种名为SafeSteer的新方法…
-
Unsloth 发布 v0.1.911-beta,支持计划任务和 FLUX 3
Unsloth 发布了 0.1.911-beta 版本,引入了用于在本地或通过 API 运行提示的计划任务。此次更新还带来了对 FLUX 3 图像编辑的支持,为 Mac 用户提升了性能,并集成了 MiniMax-M3.1-Flash,这是一个能够处理多达 100 万个 token 用于编码和代理工作流的大型 MoE 模型。此外,该版本还包括了对 NVIDIA GPU 上图像和视频渲染的改进,以及用于更高分辨率面部和手部重绘的增强细节器功能。
-
研究人员发现,新的视觉编码器SteerViT存在种族和性别偏见
研究人员在文本可控视觉编码器SteerViT模型中发现了显著的社会偏见。当使用人口统计学或与犯罪相关的术语进行提示时,SteerViT会不成比例地将这些术语与特定种族群体(尤其是黑人)相关联,并且倾向于选择男性而非女性主体。这些偏见似乎出现在模型的最后几层,而其底层组件则不存在这些偏见。虽然Grounding-DINO和Qwen2.5-VL等其他基础模型也存在这些问题的较弱版本,但SteerViT难以拒绝不当提示。为了解决这个问题,开…
-
AI流水线使用SAM 3在边缘设备上自动检测糖用甜菜
研究人员开发了一个新的甜菜检测流水线,即使在部分遮挡的情况下也能使用基于图像的方法进行检测。该系统利用Segment Anything Model 3 (SAM 3)进行自动标注,减少了手动标注的需求。该流水线在边缘设备上进行了基准测试,即带有Hailo加速器的Raspberry Pi 5,展示了适合户外部署的高效低功耗推理能力。
-
LLMSeg 管道使用 LLM 进行图像分割,无需训练
一个名为 LLMSeg 的新的无训练管道已被开发出来,它利用多模态大语言模型 (MLLMs) 进行图像分割。该方法通过将过程分解为三个阶段:定位、B 样条追踪和迭代精炼,绕过了对专用分割架构或特定任务训练的需求。LLMSeg 通过利用现成的模型(如 Gemini-3.7-Flash)展示了与 Segment Anything Model 3 等专用模型相媲美的性能,甚至在某些情况下超越了它们。
-
SAM3RL 使用强化学习提升视觉对象跟踪性能
研究人员开发了 SAM3RL,这是 Segment Anything Model 3 (SAM 3) 的一个新扩展,可增强视觉对象跟踪。该模型利用强化学习来控制其记忆库,决定存储哪些帧以优化跟踪性能。SAM3RL 在 12 个基准测试中的 10 个上取得了最先进的结果,在不增加计算开销的情况下超越了先前手工设计的记忆更新规则。当将相同的强化学习方法应用于较早的 SAM 2 模型时,产生了 SAM2RL,该模型也显示出显著的改进。
-
新的Anaximander系统简化了地理空间深度学习模型的集成
研究人员开发了Anaximander,一个开源系统,旨在简化深度学习模型在地理空间分析中的使用。该系统通过提供统一的接口,解决了集成各种模型和计算后端所面临的挑战。Anaximander包含一个推理服务器,可以从各种来源加载模型并在不同的计算环境中运行,并配有一个QGIS插件,用于无缝地进行切片、地理配准和结果可视化。这种设置可以更容易地比较模型,例如在比较GPT Image 1、Segment Anything Model 3和De…
-
新数据集为野外鸟类检测的AI提供基准
研究人员开发了一个新的野外蓝知更鸟检测基准数据集,解决了鸟类体型小、背景杂乱和光照变化等挑战。该数据集包含超过6000张标注图像,并对各种检测和分割模型进行了评估。Faster R-CNN和Mask R-CNN等监督检测器总体表现最佳,而经过微调的开放词汇模型(如YOLO-World)也取得了有竞争力的结果。失败原因归因于多种因素的组合,而不仅仅是物体大小,包括尺度、亮度、杂乱和模糊。
-
新的FaVOS基准突显了视频对象分割评估中的缺陷
引入了一个名为FaVOS的新基准来评估视频对象分割(VOS)方法,特别是在对象间歇性出现的情况下。研究人员发现,现有的评估指标(如J&F)可能会导致微不足道的预测器优于SAM 3等先进模型,因为它们会奖励目标缺失的帧。为了解决这个问题,提出了一种新的指标Volumetric J&F,通过将掩码序列视为时空体积来更好地评估分割质量和时间结构。
-
Dyna3框架实现无训练4D动态场景重建
研究人员开发了Dyna3,一个新颖的框架,它能够利用深度基础模型进行动态4D场景重建,而无需任何微调。该方法利用了像Depth Anything 3这样的模型中的跨视图特征所包含的隐式运动区分信号,并结合了帧间的特征匹配。Dyna3还整合了视觉语言模型,为精确的对象分割生成语义提示,区分静态和动态元素。实验表明,Dyna3在动态对象分割方面优于现有的基于对应关系训练的方法,并在姿态估计和重建方面实现了显著更快的速度和更低的内存使用量。
-
HyperSAM:高光谱遥感的新基础模型
研究人员开发了HyperSAM,一个用于高光谱遥感的新型基础模型。该模型通过从多光谱图像合成高分辨率高光谱立方体并使用伪掩码进行监督,解决了现有数据集的局限性。HyperSAM利用了冻结的Segment Anything Model 3 (SAM3)架构,并针对高光谱数据进行了调整,包括一个可训练的编码器和一个专家混合掩码精炼器。实验证明了其在各种遥感任务中的有效性,表明高质量的合成数据可以优于嘈杂的真实世界监督。
-
新方法提升专业领域开放词汇语义分割能力
研究人员开发了两种新方法来增强专业领域的开放词汇语义分割(OVSS)。一种方法是偏好引导适应(Preference-Guided Adaptation),它利用提示不一致性生成偏好监督,在没有密集像素级标注的情况下适应模型。另一种方法是SegRAG,它采用检索增强空间提示(retrieval-augmented spatial prompting)和冻结的基础模型,构建一个类索引内存来指导分割。这两种技术在各种基准测试中都显示出显著的…