实体
DP-Adam
DP-Adam
PulseAugur coverage of DP-Adam — every cluster mentioning DP-Adam across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新技术提高了视觉模型差分隐私训练的准确性
研究人员开发了一种名为谱梯度正交化（SGO）的新技术，以提高视觉模型差分隐私训练的准确性。该方法解决了隐私训练中添加的各向同性高斯噪声会破坏梯度信息的问题，尤其是在视觉模型常见的低秩子空间中。SGO作为一种后处理步骤，在不损害隐私的情况下从噪声梯度的结构中恢复方向信号。SGO的有效性取决于信噪比（SNR），在高容量模型和大批量大小下显示出显著的改进，而在低SNR环境下，标准的DP-SGD或时间去噪可能更合适。
-
新型优化器DP-IVON-Gradsq增强了贝叶斯深度学习中的差分隐私
研究人员开发了DP-IVON-Gradsq，这是一种旨在增强贝叶斯深度学习中差分隐私的新型优化器。该方法旨在减轻隐私噪声与贝叶斯后验采样固有的随机性之间的干扰。通过使用噪声校正的平方梯度估计器，DP-IVON-Gradsq在保持与Adam相似的计算效率的同时，增强了隐私保证。在CIFAR-10数据集上的评估表明，在隐私约束不那么严格的情况下，DP-IVON-Gradsq的性能与DP-SGD和DP-Adam相当。
-
新的DP-MacAdam算法改进了私有机器学习训练
研究人员推出了一种名为DP-MacAdam的新算法，旨在增强机器学习训练中的隐私保护。该方法结合了自适应裁剪和自适应动量技术，对这两种过程使用相同的梯度方差估计。该算法旨在改进现有方法（如DP-SGD和DP-Adam）的模型效用，而无需手动调整裁剪阈值。