DP SGD
PulseAugur coverage of DP SGD — every cluster mentioning DP SGD across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新公式校准差分隐私随机梯度下降噪声以对抗成员推断攻击
研究人员开发了一种新的闭式公式，用于校准差分隐私随机梯度下降（DP-SGD）的噪声水平。DP-SGD 是一种通过向梯度添加噪声来保护训练数据的方法。该公式特别适用于具有随机分配的 DP-SGD，其中每个记录在每个 epoch 中随机使用一次。推导出的公式提供了对使用此方法训练的模型的成员推断攻击（MIA）准确度的上限，与传统的数值隐私会计方法相比，提供了一种更有效的方法来确定必要的噪声乘数。
-
分离的嵌入层提升私有LLM训练的准确性和效率
一篇新发表在arXiv上的研究论文探讨了在差分隐私随机梯度下降（DP-SGD）下对解码器专用大型语言模型（LLM）进行微调时，权重绑定的影响。研究发现，在SST-2和QNLI等基准测试中，分离输入和输出嵌入层的模型始终优于权重绑定模型，准确率提升高达4.74%。此外，分离的嵌入层通过启用幽灵裁剪（ghost clipping），使得DP-SGD训练更节省内存，与权重绑定模型相比，内存使用量降低了60%以上。
-
新的扩散模型通过隐私和全局上下文增强时间序列插补
研究人员开发了新的时间序列插补扩散模型技术，专注于提高准确性和隐私性。其中一种方法在 arXiv cs.LG 上有详细介绍，它使用具有剪辑感知目标条件化的差分隐私扩散模型来处理敏感的能量时间序列数据。另一种方法在 arXiv cs.AI 上提出，引入了 ProCTI，通过整合学习到的原型和局部上下文信息来改进全局条件化，从而在各种缺失场景下实现更鲁棒的插补。
-
差分隐私在合成文本发布中未能保护弱势子群
对差分隐私合成文本发布的新审计显示，虽然差分隐私（DP）能有效减少平均成员推断泄露，但它对某些记录的保护程度不成比例。该研究定义了一个子群目标成员推断博弈来量化这种风险，表明合成发布仍然可能泄露子群成员身份。研究还强调，泄露信息的具体记录取决于所使用的发布机制，而不仅仅是记录本身。
-
联邦入侵检测面临隐私、鲁棒性和公平性权衡
一篇新的研究论文探讨了用于网络入侵检测系统（NIDS）的联邦学习中隐私、鲁棒性和公平性之间的权衡。研究强调，虽然联邦学习允许隐私保护的协作，但隐私措施和鲁棒聚合技术的结合可能会不成比例地损害稀有攻击类别的检测。研究结果表明，这些属性应联合研究，而不是作为独立可组合的属性，以确保可信的联邦 NIDS。
-
新框架支持配对表-图像数据的差分隐私合成
研究人员开发了DP-TabImage，一个用于合成配对的表格和图像数据并保持差分隐私的新框架。该方法解决了在应用隐私技术时保持模态依赖性的挑战，因为这些技术通常为每种数据类型采用不同的机制。DP-TabImage利用私有的概率图模型处理表格数据，并使用DP-SGD训练的表条件扩散模型生成图像，从而在表格保真度、图像保真度和跨模态对齐之间取得了平衡。
-
新框架提升机器学习中DP-SGD的经验隐私性
研究人员引入了一个新框架，以增强机器学习算法的经验隐私性，特别是针对DP-SGD。该框架旨在优化经验隐私下界，作为现有理论上界的补充。所提出的防御措施旨在提高标准基准测试上的经验隐私性，在使用DP-SGD时没有理论隐私成本，并为各种审计构造、模型和数据集提供灵活的解决方案。
-
新框架增强联邦驾驶员监控的隐私性
研究人员开发了SecureDrive-FL，一个用于联邦驾驶员监控的新框架，可增强隐私和安全性。该系统结合了差分隐私随机梯度下降（DP-SGD）与一种新颖的梯度感知选择性同态加密（GASHE）方法。GASHE仅加密超过敏感性阈值的梯度分量，与完全加密相比，降低了计算开销。
-
新技术提高了视觉模型差分隐私训练的准确性
研究人员开发了一种名为谱梯度正交化（SGO）的新技术，以提高视觉模型差分隐私训练的准确性。该方法解决了隐私训练中添加的各向同性高斯噪声会破坏梯度信息的问题，尤其是在视觉模型常见的低秩子空间中。SGO作为一种后处理步骤，在不损害隐私的情况下从噪声梯度的结构中恢复方向信号。SGO的有效性取决于信噪比（SNR），在高容量模型和大批量大小下显示出显著的改进，而在低SNR环境下，标准的DP-SGD或时间去噪可能更合适。
-
DP-SGD面临基本隐私-效用权衡局限性
一篇新发表在arXiv上的研究论文详细介绍了差分隐私随机梯度下降（DP-SGD）的基本局限性，DP-SGD是用于隐私模型训练的常用方法。该研究在$f$-差分隐私框架下分析DP-SGD，证明了同时实现强隐私和高效用具有挑战性。研究结果表明，强制执行鲁棒隐私需要显著增加噪声，而这反过来会降低模型准确性，在标准对抗性假设下为DP-SGD带来了瓶颈。
-
新方法StraightDP增强了生成模型的差分隐私
研究人员开发了StraightDP，一种用于文本条件生成模型差分隐私训练的新颖方法。该方法通过利用修正流的几何特性，解决了强隐私设置下常遇到的效用断崖问题。StraightDP策略性地分配隐私预算，一小部分用于发布类别条件矩，其余用于DP-SGD训练，从而提高了下游准确性和样本质量。
-
新型优化器DP-IVON-Gradsq增强了贝叶斯深度学习中的差分隐私
研究人员开发了DP-IVON-Gradsq，这是一种旨在增强贝叶斯深度学习中差分隐私的新型优化器。该方法旨在减轻隐私噪声与贝叶斯后验采样固有的随机性之间的干扰。通过使用噪声校正的平方梯度估计器，DP-IVON-Gradsq在保持与Adam相似的计算效率的同时，增强了隐私保证。在CIFAR-10数据集上的评估表明，在隐私约束不那么严格的情况下，DP-IVON-Gradsq的性能与DP-SGD和DP-Adam相当。
-
新技术使用模型曲率改进 DP-SGD 的准确性
研究人员开发了一种名为 NoiseCurve 的新技术，以提高差分隐私随机梯度下降 (DP-SGD) 的准确性。该方法利用从无标签数据估计出的模型曲率，来增强不同训练迭代中隐私噪声的相关性。实验表明，在各种数据集和模型上，NoiseCurve 相比现有的 DP-MF 相关方案提供了持续的准确性改进。
-
新方法增强深度神经网络训练中的差分隐私 · 跟踪 2 个来源
两篇新研究论文提出了在差分隐私下训练深度神经网络的新颖方法，旨在提高准确性和效率。第一篇论文介绍了一个端到端的框架，该框架对训练输入进行隐私化，同时保持标签公开，在多个基准数据集上实现了最先进的准确性。第二篇论文提出了一种解耦的训练方法，将表示学习与隐私执行分开，展示了改进的隐私-效用权衡和收敛保证。
-
新指标PCER审计差分隐私机器学习中的公平性
研究人员为差分隐私机器学习系统引入了一个新的群体公平性标准，称为隐私成本公平比（PCER）。PCER解决了差分隐私机制（如DP-SGD）可能不成比例地增加某些人口统计群体的隐私成本，从而导致更广泛的准确性差异的问题。通过将公平性框架化为补偿性的，PCER认为承担更高隐私暴露的群体应获得更大的系统收益。该指标仅需要每组的准确性数据，可用作事后审计工具，以揭示基于结果的指标所忽略的公平性问题，如在COMPAS数据集上的演示所示，该数据集揭…
-
新的抖动高斯机制增强了差分隐私效率
研究人员推出了一种新的差分隐私方法——抖动高斯机制，该方法增强了安全性和效率。该方法离散化私有输出而非噪声分布，继承了标准高斯机制的隐私保证，同时减轻了来自有限精度浮点输出的漏洞。该机制旨在提高随机性效率，将用于离散化的关键采样的高质量随机比特与公共源分离，从而能够使用密码学安全的随机性，同时对性能影响最小。在DP-SGD中用于模型训练的应用表明，其在降低浮点风险和适度开销的情况下，具有安全生成噪声的潜力。
-
ICML 2026：AI 在效率、理论和鲁棒性方面取得进展
在 ICML 2026 上发表的多篇研究论文探讨了 AI 的进展，重点关注效率、鲁棒性和新的理论框架。关键进展包括加速深度学习操作的新方法，如窗口化批矩阵乘法 (WBMM) 和高效的 4 位训练 (TetraJet-v2)。研究人员还通过 CPO 解决了模型对齐的理论挑战，并通过内部指标（如隐藏状态的 L2 范数）提出了理解和改进模型推理的新方法。
-
新方法改进了AI算法的隐私损失核算
研究人员开发了一种有效计算差分隐私算法中隐私损失的新方法，特别适用于涉及子采样和随机分配的算法。该方法在最近的arXiv论文中有所详述，通过使用隐私损失分布（PLD）实现的概念，提供了比先前分析更严格的隐私参数，并简化了隐私损失核算。新工具将精确核算扩展到了子采样，而子采样以前需要特定机制的分析，并证明了随机分配的性能至少与泊松子采样一样好，尤其是在通过DP-SGD进行训练时。
-
新的DP-NGD框架提升了隐私保护机器学习的效用和速度 · 跟踪2个来源
研究人员开发了DP-NGD，一个新颖的差分隐私自然梯度下降框架，旨在提高隐私保护机器学习的效用。与忽略损失曲率的标准DP-SGD不同，DP-NGD整合了这一信息，以实现更快的收敛速度和更高的准确性。该框架通过解耦曲率估计并采用具有动态钳制的白化空间机制，解决了隐私预算消耗和训练不稳定性等挑战。
-
新的RaCO-DP方法通过公平性约束增强了私有学习
研究人员开发了RaCO-DP，一种在满足速率约束的同时，在差分隐私下优化机器学习模型的新颖方法。该方法解决了将标准DP技术应用于依赖于亚群体聚合统计（如群体公平性约束）的目标所面临的挑战。RaCO-DP利用拉格朗日公式和对随机梯度下降-上升（SGDA）的新颖分析来确保隐私和收敛性。实证结果表明，RaCO-DP在隐私、效用和公平性方面优于现有的私有学习方法，尤其是在神经网络方面。