牛津大学的研究人员开发了一种名为“重要性感知采样”（IAS）的新型可见-红外（VIS-IR）对齐预训练方法。该技术通过根据图像块的可靠性调整训练重点，解决了VIS-IR数据中标准图像块对比学习的不可靠性问题。IAS使用源自红外结构线索的图像块权重重新加权对比目标，并学习一个软性重要性掩码，该掩码可选择性地进行热启动。该方法即插即用，兼容各种对齐基线，并在语义分割和目标检测等任务的多个VIS-IR基准测试中展现出了一致的改进。 AI
影响 这项新的采样技术有望为人工智能系统带来更强大、更准确的多传感器感知模型。
排序理由 该集群描述了一篇详细介绍人工智能模型预训练新方法的最新研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Visible-infrared (VIS-IR) alignment is a key pre-training task for robust multi-sensor perception. Most existing methods use uniform patch-wise contrastive learning, but this can be unreliable in VIS-IR data because imaging-physics differences make some spatially paired regions i…
arXiv:2607.20238v1 Announce Type: new Abstract: Visible-infrared (VIS-IR) alignment is a key pre-training task for robust multi-sensor perception. Most existing methods use uniform patch-wise contrastive learning, but this can be unreliable in VIS-IR data because imaging-physics …