CMTFormer

CMTFormer 融合 RGB 和事件相机数据以改进目标检测

研究人员开发了一种名为 CMTFormer 的新方法，通过结合标准 RGB 相机和事件相机的数据来改进目标检测。该方法解决了异构数据流集成带来的挑战，这些挑战可能导致噪声或冗余特征。CMTFormer 采用分层融合策略，包含用于低级特征对齐、跨模态增强和自适应高级聚合的专用模块，以及用于提高定位精度的空间先验模块。在基准数据集上的实验表明，CMTFormer 在单模态和多模态检测场景中均优于现有方法。