RGB-T Imaging
PulseAugur coverage of RGB-T Imaging — every cluster mentioning RGB-T Imaging across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的SAGE框架通过频率均衡增强RGB-T图像融合
研究人员推出SAGE，一个旨在改进RGB和热成像（T）数据融合的新框架。该方法通过统一外观适应、几何对齐和信息融合来解决重影和模糊等挑战。SAGE利用频率均衡和分层对齐来精确结合视觉和热信息，从而在具有真实世界错位的情况下产生更鲁棒、更详细的融合图像。
-
新的SARTM框架将SAM适配于RGB-热力学分割
研究人员开发了SARTM，一个旨在将分割任何模型（SAM）适配于RGB-热力学（RGB-T）语义分割的新框架。SARTM使用LoRA层对SAM进行微调，并通过跨模态知识蒸馏（CMKD）引入语言指导，以解决跨模态不一致和语义模糊问题。该框架还通过调整SAM的头部和集成多尺度特征来增强分割效果。在MFNET、PST900和FMB等基准测试上的实验表明，SARTM的性能优于现有的最先进方法。
-
新的S3AM框架增强了多模态显著目标检测
研究人员开发了S$^3$AM，一种用于多模态显著目标检测的新型单流框架。该方法将可靠性校准频率适配器与Segment Anything Model (SAM)骨干网络集成，以减少计算冗余。该框架采用频率专家混合和双门控校准机制，选择性地在Transformer阶段传播校准后的残差信息，而超网络引导的解码器则结合了语义掩码特征和基于Mamba的结构细节恢复。实验表明，S$^3$AM在可训练参数数量显著减少的情况下，实现了具有竞争力的性能。
-
新的FOCUS框架提升了多模态大语言模型的显著目标检测能力
一篇新研究论文提出FOCUS，一个旨在增强多模态大语言模型（MLLMs）显著目标检测（SOD）能力的新颖框架。该论文介绍了SaliLLM，一个诊断性基准，揭示了MLLMs在定位方面表现出色，但在分割方面存在困难，这主要是由于前景基数、粒度和范围的不匹配。FOCUS利用受格式塔启发的协同注意力和贝叶斯惊喜校准来解决这些限制，在无需特定任务训练的情况下，在各种SOD基准测试中取得了显著的性能提升。
-
新的RGB-T目标检测方法通过稀疏融合提高效率
研究人员开发了一种新颖的RGB-T目标检测方法，通过采用稀疏跨模态融合机制显著提高了效率。该方法首先快速识别潜在的目标区域，然后仅将详细的特征融合应用于这些稀疏区域。提出的两阶段框架包括一个轻量级的、特定于模态的检测阶段，用于高召回率的区域提议，随后是一个由融合驱动的阶段，用于精炼和过滤误报。这种自适应资源分配使检测器能够以更少的参数和更低的计算成本保持高精度。
-
DarkVGGT框架使用热成像在黑暗中进行3D重建
研究人员开发了DarkVGGT，一个专为低光照条件下3D场景几何估计设计的新框架。该系统利用RGB和热成像，并结合了符合物理学原理的热建模，以克服可见光外观的局限性。DarkVGGT包含提取几何一致性热线索和路由模态不变几何结构的模块，即使在RGB数据退化的情况下也能实现更准确的深度和相机姿态估计。
-
物理对抗性服装通过非重叠RGB-T图案规避可见光-热探测器
研究人员开发了一种针对可见光-热（RGB-T）目标检测器的新型物理对抗攻击方法，该检测器常用于自动驾驶等应用。该方法利用特殊设计的服装，其非重叠RGB-T图案（NORP）可在数字和物理环境中规避检测。这种NORP设计使用空间离散-连续优化（SDCO）方法进行优化，旨在提高各种融合架构的攻击成功率。
-
RACANet 通过可靠性感知融合改进RGB-T人群计数
研究人员开发了RACANet，一种新颖的RGB-Thermal人群计数框架，通过显式建模局部空间差异和模态可靠性来提高准确性。该方法采用两阶段方法，首先进行跨模态对齐预训练，然后是局部锚点融合模块。该模块利用可靠区域生成语义锚点，并使用注意力机制自适应地重新分配特征。在基准数据集上的实验表明，RACANet优于现有方法。