Importance-Aware Sampling

新的采样方法改进了可见-红外人工智能模型预训练

牛津大学的研究人员开发了一种名为“重要性感知采样”（IAS）的新型可见-红外（VIS-IR）对齐预训练方法。该技术通过根据图像块的可靠性调整训练重点，解决了VIS-IR数据中标准图像块对比学习的不可靠性问题。IAS使用源自红外结构线索的图像块权重重新加权对比目标，并学习一个软性重要性掩码，该掩码可选择性地进行热启动。该方法即插即用，兼容各种对齐基线，并在语义分割和目标检测等任务的多个VIS-IR基准测试中展现出了一致的改进。