DP SGD
PulseAugur coverage of DP SGD — every cluster mentioning DP SGD across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新型SAVANT模型在隐私和效用之间取得平衡,适用于表格数据
研究人员开发了SAVANT,这是一种新颖的、用于表格数据的自注意力变分自编码器,集成了差分隐私(DP-SGD)。该模型是首个将注意力机制、VAE和差分隐私结合用于表格数据的模型。在公共数据集上的评估表明,在相同的隐私保证下,增加数据量通常会提高下游分类器的效用,并且SAVANT的表现优于PrivBayes和MST等其他边际机制。成员推理攻击未发现聚合成员信号,表明隐私得到有效保护。
-
Apple 研究人员修复了 AI 训练中的隐私泄露问题
Apple 研究人员在私有 AI 模型的训练中发现了一个隐私漏洞。他们证明了可观察的批次大小会损害 DP-SGD(差分隐私随机梯度下降)的隐私保证。为解决此问题,研究人员提出了一种使用虚拟点来恢复预期隐私的新机制。
-
新的DP-SGD方法通过隐藏批次大小来增强隐私
研究人员开发了一种新机制,通过对批次大小进行隐私化来增强差分隐私随机梯度下降(DP-SGD)中的隐私性。该方法使用随机数量的虚拟点来隐藏实际批次大小,即使在批次因计算限制而被截断的情况下也能维持隐私保证。该方法易于在分布式环境中实现,并与现有方法相比提供了更好的隐私-效率权衡,尤其适用于泊松采样。
-
新算法加速了随机分配的隐私损失核算
研究人员开发了一种名为多尺度FFT的新算法,该算法显著加速了随机分配采样方案的隐私损失核算。该方法通过将计算复杂度从关于精度参数 alpha 的二次方降低到线性来改进现有技术。新算法还引入了一种更精确的舍入方法,进一步增强了差分私有随机梯度下降 (DP-SGD) 的隐私界限。
-
新的高斯近似增强了差分隐私算法分析
研究人员开发了一种分析差分隐私算法隐私保证的新方法,特别关注差分隐私随机梯度下降(DP-SGD)。新方法使用高斯近似来约束子采样机制组合的隐私损失,通过考虑独立随机变量之和的近似高斯性质,提供了比以前方法更紧密的界限。该技术提供了更准确的隐私分析,特别是对于高斯机制和像球箱采样这样的随机分配方法,从而提高了隐私保护机器学习的准确性。
-
引导扩散提供私有合成文本生成
研究人员推出了一种新颖的合成文本生成框架——引导扩散(Guided Diffusion),该框架优先考虑隐私。该方法利用扩散语言模型(Diffusion Language Models)引导生成过程,使其生成流畅且语义对齐的文本,同时还融入了差分隐私(differential privacy)。与DP-SGD和Private Evolution等现有方法相比,该方法在分布保真度和下游效用方面表现出优越的性能,并且生成文本的速度明显快于…
-
New DP-μP framework enables hyperparameter transfer for private model training
研究人员开发了DP-μP,一个将最大更新参数化(μP)扩展到差分隐私优化中的新框架。标准的μP在正常训练中允许零样本超参数迁移,但在DP约束下,由于噪声注入和梯度裁剪而失效。DP-μP通过分析这些隐私机制与特征学习之间的相互作用来解决这个问题,推导出了层级学习率缩放的信噪比(SNR)条件。该框架为DP-SGD、DP-Adam和DP-Muon优化器提供了具体的缩放规则,能够有效地在不同模型宽度和MLP、ViT、GPT-2等架构之间进行零…
-
研究论文探讨用于LLM训练的合成数据中的隐私风险
一篇新研究论文探讨了在训练敏感数据时模型能力与隐私之间的权衡,特别关注合成医疗记录。研究发现,直接微调可产生最佳能力,但也导致最多的隐私泄露。DP-SGD 可减少泄露,但会显著影响性能。生成合成数据,特别是通过隐私感知重写,为保护敏感信息提供了一种更平衡的方法。
-
隐私感知重写合成数据可平衡模型能力与隐私
一篇新论文探讨了使用合成数据训练语言模型(尤其是在处理敏感医疗记录时)的隐私影响。研究表明,与直接微调或DP-SGD相比,隐私感知重写技术在保持模型能力和保护敏感信息之间提供了更好的平衡。该方法涉及替换合成数据中的私有详细信息,显示出在隐私保护方面有所改进,而能力损失较小。
-
Rényi DP会计师在DP-SGD方面显示出改进的隐私保证
一篇新的研究论文探讨了Rényi DP会计师在差分隐私随机梯度下降(DP-SGD)中的有效性。研究观察到,Rényi DP可以利用与无损框架不同的最坏情况分布对,特别是二维高斯混合模型。数值和渐近比较表明,这种改进的Rényi DP界限可以在各种超参数设置下提供更优越的隐私保证。
-
新框架为 DP-SGD 模型设定了隐私敏感的重建边界
研究人员开发了一个新的信息论框架,用于建立使用差分隐私 (DP-SGD) 训练的模型的重建边界。该框架提供了一个可在训练前计算的失真边界,揭示了对手可以从模型中恢复什么信息。它将训练所揭示的信息与数据分布的固有不确定性分开,并使用率失真理论将它们结合起来,为任何攻击的重建误差设定下限。该框架已应用于高维图像,首次给出了 LPIPS 测量的重建失真的已知下限,并在常见的隐私预算范围内展示了非微小的、不可避免的重建误差。
-
新公式校准差分隐私随机梯度下降噪声以对抗成员推断攻击
研究人员开发了一种新的闭式公式,用于校准差分隐私随机梯度下降(DP-SGD)的噪声水平。DP-SGD 是一种通过向梯度添加噪声来保护训练数据的方法。该公式特别适用于具有随机分配的 DP-SGD,其中每个记录在每个 epoch 中随机使用一次。推导出的公式提供了对使用此方法训练的模型的成员推断攻击(MIA)准确度的上限,与传统的数值隐私会计方法相比,提供了一种更有效的方法来确定必要的噪声乘数。
-
新的 DP-SGD 噪声校准为对抗成员推断攻击提供了更紧密的界限
研究人员开发了一种新的、高效的方法来校准 DP-SGD(差分隐私随机梯度下降)训练中的噪声。该方法提供了一个单行公式来界定成员推断攻击(MIA)在训练模型上的准确性,与现有方法相比,显著减少了所需的噪声。该公式源于高斯分布和高斯混合分布之间的卡方散度,可以快速计算最优噪声乘数,从而提高测试准确性并缩短校准时间。
-
分离的嵌入层提升私有LLM训练的准确性和效率
一篇新发表在arXiv上的研究论文探讨了在差分隐私随机梯度下降(DP-SGD)下对解码器专用大型语言模型(LLM)进行微调时,权重绑定的影响。研究发现,在SST-2和QNLI等基准测试中,分离输入和输出嵌入层的模型始终优于权重绑定模型,准确率提升高达4.74%。此外,分离的嵌入层通过启用幽灵裁剪(ghost clipping),使得DP-SGD训练更节省内存,与权重绑定模型相比,内存使用量降低了60%以上。
-
新的扩散模型通过隐私和全局上下文增强时间序列插补
研究人员开发了新的时间序列插补扩散模型技术,专注于提高准确性和隐私性。其中一种方法在 arXiv cs.LG 上有详细介绍,它使用具有剪辑感知目标条件化的差分隐私扩散模型来处理敏感的能量时间序列数据。另一种方法在 arXiv cs.AI 上提出,引入了 ProCTI,通过整合学习到的原型和局部上下文信息来改进全局条件化,从而在各种缺失场景下实现更鲁棒的插补。
-
差分隐私在合成文本发布中未能保护弱势子群
对差分隐私合成文本发布的新审计显示,虽然差分隐私(DP)能有效减少平均成员推断泄露,但它对某些记录的保护程度不成比例。该研究定义了一个子群目标成员推断博弈来量化这种风险,表明合成发布仍然可能泄露子群成员身份。研究还强调,泄露信息的具体记录取决于所使用的发布机制,而不仅仅是记录本身。
-
联邦入侵检测面临隐私、鲁棒性和公平性权衡
一篇新的研究论文探讨了用于网络入侵检测系统(NIDS)的联邦学习中隐私、鲁棒性和公平性之间的权衡。研究强调,虽然联邦学习允许隐私保护的协作,但隐私措施和鲁棒聚合技术的结合可能会不成比例地损害稀有攻击类别的检测。研究结果表明,这些属性应联合研究,而不是作为独立可组合的属性,以确保可信的联邦 NIDS。
-
新框架支持配对表-图像数据的差分隐私合成
研究人员开发了DP-TabImage,一个用于合成配对的表格和图像数据并保持差分隐私的新框架。该方法解决了在应用隐私技术时保持模态依赖性的挑战,因为这些技术通常为每种数据类型采用不同的机制。DP-TabImage利用私有的概率图模型处理表格数据,并使用DP-SGD训练的表条件扩散模型生成图像,从而在表格保真度、图像保真度和跨模态对齐之间取得了平衡。
-
新框架提升机器学习中DP-SGD的经验隐私性
研究人员引入了一个新框架,以增强机器学习算法的经验隐私性,特别是针对DP-SGD。该框架旨在优化经验隐私下界,作为现有理论上界的补充。所提出的防御措施旨在提高标准基准测试上的经验隐私性,在使用DP-SGD时没有理论隐私成本,并为各种审计构造、模型和数据集提供灵活的解决方案。
-
新框架增强联邦驾驶员监控的隐私性
研究人员开发了SecureDrive-FL,一个用于联邦驾驶员监控的新框架,可增强隐私和安全性。该系统结合了差分隐私随机梯度下降(DP-SGD)与一种新颖的梯度感知选择性同态加密(GASHE)方法。GASHE仅加密超过敏感性阈值的梯度分量,与完全加密相比,降低了计算开销。