Differentially Private Training

新技术提高了视觉模型差分隐私训练的准确性

研究人员开发了一种名为谱梯度正交化（SGO）的新技术，以提高视觉模型差分隐私训练的准确性。该方法解决了隐私训练中添加的各向同性高斯噪声会破坏梯度信息的问题，尤其是在视觉模型常见的低秩子空间中。SGO作为一种后处理步骤，在不损害隐私的情况下从噪声梯度的结构中恢复方向信号。SGO的有效性取决于信噪比（SNR），在高容量模型和大批量大小下显示出显著的改进，而在低SNR环境下，标准的DP-SGD或时间去噪可能更合适。