DeepSense 6G

CM-MAE框架增强视觉-无线数据传输

研究人员开发了CM-MAE，一个新颖的自监督学习框架，旨在提高视觉和无线数据之间表示的可迁移性。该框架利用软对比对齐损失，通过测量波束功率剖面的相似性构建目标分布，防止相似的方向响应被错误地分类为假阴性。掩码联合解码器通过重建隐藏的视觉块和无线角度簇，进一步增强了模型。当应用于DeepSense 6G数据集时，CM-MAE在跨场景迁移准确性方面表现出显著的改进，在未见过场景上的Top-1准确率高达78.69%。