Structured-Noise Masked Modeling

新的结构化噪声掩码可提升AI在视频和音频学习效果

研究人员开发了一种名为结构化噪声掩码建模（Structured-Noise Masked Modeling）的新型自监督学习技术，旨在改进模型从视频和音频数据中学习的方式。与随机掩码不同，该方法使用过滤后的白噪声来创建结构化掩码，这些掩码与这些模态特定的时空和频谱特征相匹配。实验表明，这种结构化方法在性能上持续优于随机掩码，突显了在不增加计算成本的情况下，进行面向模态的掩码以实现表示学习的优势。