Importance-Aware Sampling

新的重要性感知采样方法增强了可见光-红外预训练

研究人员开发了一种名为重要性感知采样（IAS）的新型可见光-红外（VIS-IR）对齐预训练方法。该方法通过根据图像块的可靠性调整训练重点，解决了均匀图像块对比学习的局限性。IAS 从红外结构线索中提取图像块权重，并学习一个软性重要性掩码，可选择性地使用课程学习策略。该方法设计为即插即用，兼容各种对齐技术，并在语义分割和目标检测等任务的多个 VIS-IR 基准测试中展现出了一致的改进。