semantic segmentation
PulseAugur coverage of semantic segmentation — every cluster mentioning semantic segmentation across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的HCFormer架构使用双曲聚类实现可解释的视觉模型
研究人员开发了HCFormer，这是一种新的视觉骨干架构，它利用双曲层次聚类进行视觉表示学习。这种名为ClusterMixer的方法，为视觉Transformer等模型中发现的传统token mixer提供了一种更具可解释性的替代方案。通过在双曲空间中进行聚类以捕捉层次关系，HCFormer在各种计算机视觉任务（包括图像分类和分割）中表现出稳健的性能。
-
新研究解决了语义分割中的域泛化和校准问题
两篇新研究论文解决了语义分割中的挑战，语义分割是一项计算机视觉任务，涉及对图像中的每个像素进行分类。第一篇论文LASA提出了一个框架，通过使用语言和源特征来指导风格迁移和重新校准对象查询，以提高跨不同域的泛化能力。第二篇论文DA-Cal专注于增强语义分割模型的校准，确保预测置信度与准确性一致，这对于安全关键型应用至关重要。DA-Cal引入了一个元温度网络和双层优化来改进软伪标签和跨域校准。
-
FaithIR框架增强红外图像超分辨率以提升机器感知能力
研究人员推出了一种新颖的FaithIR框架，旨在改进红外图像超分辨率（IISR）以增强机器感知能力。与以往常引入人工纹理或扭曲热结构的方法不同，FaithIR专注于保留真实的热和结构信息。该框架采用双分支方法，一个分支捕捉全局信息，另一个分支在结构完整性指导下进行局部重建。实验表明，FaithIR不仅实现了卓越的重建保真度，还显著提高了目标检测和语义分割等下游任务的性能，凸显了忠实保留结构比单纯追求感知锐度更重要。
-
语义分割：计算机视觉中的像素级理解
语义分割是一种计算机视觉技术，它为图像中的每个像素分配一个特定的类别标签。这个过程使模型能够创建详细的地图，在像素级别区分道路、人或缺陷等元素，这对于自动驾驶和医学成像等应用至关重要。与分类或对象检测不同，语义分割通过分析每个单独的像素来提供更精细级别的理解。
-
新的快速特征场 ($ ext{F}^3$) 表示推动了事件驱动相机数据处理的进步
研究人员开发了一种新颖的事件驱动相机数据表示方法，称为快速特征场 ($ ext{F}^3$)。该方法学习从过去的事件预测未来的事件，有效地保留了场景结构和运动信息。$ ext{F}^3$ 设计高效，即使在高清分辨率下也能实现高帧率，并在各种机器人平台和光照条件下的光流估计、语义分割和单目度量深度估计等任务中展现出最先进的性能。
-
新方法增强了对语义分割模型的对抗性攻击
研究人员开发了IGME，一种为语义分割模型生成可迁移对抗性扰动的有效方法。该方法使用单个源模型来组合攻击组件，共享梯度计算以降低成本。IGME采用集成梯度风格的路径平均方向来稳定更新，并在CNN和Transformer模型上展示了与现有方法相比具有竞争力的可迁移性和运行时效率。
-
新框架LC-SLab通过基于对象的深度学习增强土地覆盖制图
研究人员开发了LC-SLab，一个新颖的深度学习框架，用于利用卫星图像和稀疏实地标签进行大规模土地覆盖分类。这种基于对象的方法将标签分配给连贯的区域而非单个像素，旨在生成空间上更连贯的地图。该框架通过图神经网络支持输入级聚合，并通过后处理语义分割结果实现输出级聚合，并整合预训练网络的特征以提高在较小数据集上的性能。使用Sentinel-2图像和LUCAS标签进行的评估表明，LC-SLab配置可以匹配或超越像素级模型的准确性，同时显著减…
-
多目标跟踪：赋予AI系统超越目标检测的记忆能力
多目标跟踪（MOT）是目标检测的一项进步，它为视频流中识别出的对象提供了身份、记忆和历史背景。这对于自动驾驶和零售分析等应用至关重要，在这些应用中，理解场景如何随时间演变至关重要。与将每一帧独立处理并存在闪烁和对象“遗忘”问题的纯目标检测不同，MOT通过赋予计算机记忆能力，实现了更智能的系统。
-
新的H.264自适应量化方法提高了视频编码效率
研究人员开发了一种新的H.264视频编码自适应量化控制方法，解决了为感知质量或机器视觉任务等特定目标优化编解码器参数的挑战。他们的方法利用了一个可微代理，该代理近似H.264的率失真行为，从而实现基于梯度的优化。这种基于代理的自适应量化框架在率-任务权衡方面显示出改进，在语义分割和MS-SSIM方面实现了显著的BD率降低。
-
新研究推动扩散模型在图像编辑、数据增强和遗忘方面的进展
研究人员正在探索扩散模型的先进技术，重点是改进图像编辑、数据增强和遗忘能力。新方法旨在通过改进ODE求解器和矢量场平滑来提高图像编辑的稳定性和保真度。对于数据增强，正在开发不确定性指导策略，通过关注信息区域来改进语义分割模型。此外，扩散模型遗忘方面的进展正在取得，研究调查了选择性遗忘和使用稀疏自编码器将概念检测与干预分离，旨在获得更清晰的结果并更好地保留模型质量。
-
TaskTok框架通过选择性令牌恢复增强下游视觉任务
研究人员推出TaskTok，一个新颖的、用于任务驱动图像恢复（TDIR）的框架。与关注感知质量的传统方法不同，TDIR旨在提高后续高级视觉任务的性能。TaskTok通过选择性地恢复与任务相关的令牌，解决了先前生成先验方法在计算效率和潜在语义改变方面的问题。这种选择性恢复是通过一个可学习的令牌开关和一个轻量级细化模块实现的，在图像分类、语义分割和目标检测方面表现出显著的增强，同时提高了计算效率。
-
AI模型分析火星DEM以识别土丘，辅助探测车导航
研究人员开发了一种基于神经网络的语义分割方法，利用数字高程模型自动检测和预测火星上的土丘。该方法旨在通过识别有利于水或生命存在的环境来辅助探测车导航和寻找地外生命。对监督语义分割和生成对抗网络方法的比较表明，使用人工生成样本增强数据并未显著提高结果。
-
HadamardNet 提高了 AI 模型对对抗性攻击的鲁棒性
研究人员开发了一个名为 HadamardNet 的新框架，以提高目标检测和语义分割模型对对抗性攻击的鲁棒性。该框架利用哈达玛编码输出表示，与传统的独热编码相比，它提供了更好的校准，并能更有效地检测扰动。这种新颖的方法包括一个优化的解码过程和一个利用预测不一致性来增强安全性的方法。评估表明，HadamardNet 在检测扰动方面取得了最先进的性能，同时在干净数据上保持了具有竞争力的准确性。
-
新的SASA方法改进了弱监督增量分割
研究人员开发了一种名为SASA的新方法，以改进用于语义分割的弱监督增量学习。该方法使用可学习的token作为语义锚点来保持类别身份，并使用空间仲裁机制来过滤不可靠的监督信号。SASA旨在防止新学习的类别覆盖旧类别，在多步增量学习场景中表现出卓越的性能。
-
新的FedS2R框架改进了自动驾驶分割
研究人员推出FedS2R，一个新颖的单次联邦域泛化框架，专门用于自动驾驶中的合成到真实域语义分割。该框架解决了在不共享原始数据的情况下跨不同数据集训练模型的挑战，这是隐私和效率的关键方面。FedS2R采用不一致驱动的数据增强策略和具有特征融合的多客户端知识蒸馏方案来提高模型性能。在多个真实世界数据集上的实验表明，与单个客户端模型相比，FedS2R显著增强了模型能力，取得了接近完全数据访问训练的模型的结果。
-
语义分割增强3DViZDoom环境中的强化学习代理
研究人员为在3D环境（特别是在ViZDoom游戏中）运行的强化学习代理开发了新的输入表示。通过对RGB图像进行语义分割，所提出的SS-only和RGB+SS方法旨在减少内存消耗并提高学习复杂度。SS-only方法在内存缓冲区需求方面表现出显著降低，而RGB+SS通过整合额外的语义信息提高了代理性能。该研究还探讨了基于密度的热图技术，用于可视化代理移动和评估数据收集的适用性。
-
新方法改进机器人语义分割的离群检测
研究人员开发了能耗感知NECO（Energy-Aware NECO），一种用于语义分割任务中离群（OOD）数据检测的新颖方法，特别适用于移动机器人。这种单通道方法将解码器特征的几何比率与能耗分数相结合，比蒙特卡洛丢弃（Monte Carlo Dropout）等方法更有效。在miniMUAD数据集上的评估显示，混合分数达到了0.8539的AUROC，优于现有基线。
-
新的D3S2方法为语义分割提炼数据集
研究人员开发了D3S2，一个专门为语义分割任务设计的、新颖的数据集提炼框架。该方法通过一个涉及平衡掩码选择和扩散引导图像合成的两阶段方法，解决了类别不平衡和精确像素对齐等挑战。D3S2通过引导扩散采样确保空间对齐并提高训练效用，即使在1%的压缩率下，也能在基准数据集上显著提高平均交并比（mIoU）分数。
-
计算机视觉研究推动多模态理解和鲁棒分割
研究人员开发了 WeatherSeg，这是一个半监督分割框架，旨在通过使用双教师-学生模型进行知识蒸馏和分类器权重更新机制，来改善恶劣天气条件下自动驾驶的感知能力。另外，为多摄像头系统提出了一种新的仅姿态几何约束，以提高视觉导航和 3D 场景重建中捆绑调整的计算效率。另一项进展通过将摄像头嵌入校准目标中，实现了多投影仪校准的可扩展性限制，从而可以同时估计投影仪参数。此外，DeepTaxon 提供了一个检索增强的多模态框架，用于生物多样…