DP SGD
PulseAugur coverage of DP SGD — every cluster mentioning DP SGD across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新技术提高了视觉模型差分隐私训练的准确性
研究人员开发了一种名为谱梯度正交化（SGO）的新技术，以提高视觉模型差分隐私训练的准确性。该方法解决了隐私训练中添加的各向同性高斯噪声会破坏梯度信息的问题，尤其是在视觉模型常见的低秩子空间中。SGO作为一种后处理步骤，在不损害隐私的情况下从噪声梯度的结构中恢复方向信号。SGO的有效性取决于信噪比（SNR），在高容量模型和大批量大小下显示出显著的改进，而在低SNR环境下，标准的DP-SGD或时间去噪可能更合适。
-
DP-SGD面临基本隐私-效用权衡局限性
一篇新发表在arXiv上的研究论文详细介绍了差分隐私随机梯度下降（DP-SGD）的基本局限性，DP-SGD是用于隐私模型训练的常用方法。该研究在$f$-差分隐私框架下分析DP-SGD，证明了同时实现强隐私和高效用具有挑战性。研究结果表明，强制执行鲁棒隐私需要显著增加噪声，而这反过来会降低模型准确性，在标准对抗性假设下为DP-SGD带来了瓶颈。
-
新方法StraightDP增强了生成模型的差分隐私
研究人员开发了StraightDP，一种用于文本条件生成模型差分隐私训练的新颖方法。该方法通过利用修正流的几何特性，解决了强隐私设置下常遇到的效用断崖问题。StraightDP策略性地分配隐私预算，一小部分用于发布类别条件矩，其余用于DP-SGD训练，从而提高了下游准确性和样本质量。
-
新型优化器DP-IVON-Gradsq增强了贝叶斯深度学习中的差分隐私
研究人员开发了DP-IVON-Gradsq，这是一种旨在增强贝叶斯深度学习中差分隐私的新型优化器。该方法旨在减轻隐私噪声与贝叶斯后验采样固有的随机性之间的干扰。通过使用噪声校正的平方梯度估计器，DP-IVON-Gradsq在保持与Adam相似的计算效率的同时，增强了隐私保证。在CIFAR-10数据集上的评估表明，在隐私约束不那么严格的情况下，DP-IVON-Gradsq的性能与DP-SGD和DP-Adam相当。
-
新技术使用模型曲率改进 DP-SGD 的准确性
研究人员开发了一种名为 NoiseCurve 的新技术，以提高差分隐私随机梯度下降 (DP-SGD) 的准确性。该方法利用从无标签数据估计出的模型曲率，来增强不同训练迭代中隐私噪声的相关性。实验表明，在各种数据集和模型上，NoiseCurve 相比现有的 DP-MF 相关方案提供了持续的准确性改进。
-
新方法增强深度神经网络训练中的差分隐私 · 跟踪 2 个来源
两篇新研究论文提出了在差分隐私下训练深度神经网络的新颖方法，旨在提高准确性和效率。第一篇论文介绍了一个端到端的框架，该框架对训练输入进行隐私化，同时保持标签公开，在多个基准数据集上实现了最先进的准确性。第二篇论文提出了一种解耦的训练方法，将表示学习与隐私执行分开，展示了改进的隐私-效用权衡和收敛保证。
-
新指标PCER审计差分隐私机器学习中的公平性
研究人员为差分隐私机器学习系统引入了一个新的群体公平性标准，称为隐私成本公平比（PCER）。PCER解决了差分隐私机制（如DP-SGD）可能不成比例地增加某些人口统计群体的隐私成本，从而导致更广泛的准确性差异的问题。通过将公平性框架化为补偿性的，PCER认为承担更高隐私暴露的群体应获得更大的系统收益。该指标仅需要每组的准确性数据，可用作事后审计工具，以揭示基于结果的指标所忽略的公平性问题，如在COMPAS数据集上的演示所示，该数据集揭…
-
新的抖动高斯机制增强了差分隐私效率
研究人员推出了一种新的差分隐私方法——抖动高斯机制，该方法增强了安全性和效率。该方法离散化私有输出而非噪声分布，继承了标准高斯机制的隐私保证，同时减轻了来自有限精度浮点输出的漏洞。该机制旨在提高随机性效率，将用于离散化的关键采样的高质量随机比特与公共源分离，从而能够使用密码学安全的随机性，同时对性能影响最小。在DP-SGD中用于模型训练的应用表明，其在降低浮点风险和适度开销的情况下，具有安全生成噪声的潜力。
-
ICML 2026：AI 在效率、理论和鲁棒性方面取得进展
在 ICML 2026 上发表的多篇研究论文探讨了 AI 的进展，重点关注效率、鲁棒性和新的理论框架。关键进展包括加速深度学习操作的新方法，如窗口化批矩阵乘法 (WBMM) 和高效的 4 位训练 (TetraJet-v2)。研究人员还通过 CPO 解决了模型对齐的理论挑战，并通过内部指标（如隐藏状态的 L2 范数）提出了理解和改进模型推理的新方法。
-
新方法改进了AI算法的隐私损失核算
研究人员开发了一种有效计算差分隐私算法中隐私损失的新方法，特别适用于涉及子采样和随机分配的算法。该方法在最近的arXiv论文中有所详述，通过使用隐私损失分布（PLD）实现的概念，提供了比先前分析更严格的隐私参数，并简化了隐私损失核算。新工具将精确核算扩展到了子采样，而子采样以前需要特定机制的分析，并证明了随机分配的性能至少与泊松子采样一样好，尤其是在通过DP-SGD进行训练时。
-
新的DP-NGD框架提升了隐私保护机器学习的效用和速度 · 跟踪2个来源
研究人员开发了DP-NGD，一个新颖的差分隐私自然梯度下降框架，旨在提高隐私保护机器学习的效用。与忽略损失曲率的标准DP-SGD不同，DP-NGD整合了这一信息，以实现更快的收敛速度和更高的准确性。该框架通过解耦曲率估计并采用具有动态钳制的白化空间机制，解决了隐私预算消耗和训练不稳定性等挑战。
-
新的RaCO-DP方法通过公平性约束增强了私有学习
研究人员开发了RaCO-DP，一种在满足速率约束的同时，在差分隐私下优化机器学习模型的新颖方法。该方法解决了将标准DP技术应用于依赖于亚群体聚合统计（如群体公平性约束）的目标所面临的挑战。RaCO-DP利用拉格朗日公式和对随机梯度下降-上升（SGDA）的新颖分析来确保隐私和收敛性。实证结果表明，RaCO-DP在隐私、效用和公平性方面优于现有的私有学习方法，尤其是在神经网络方面。
-
研究：DP SGD对CSIRT数据中的SLM记忆减少无效
一篇新的研究论文探讨了在计算机安全事件响应团队（CSIRT）的敏感数据上微调小型语言模型（SLM）时减少记忆的方法。研究发现，虽然差分隐私（DP SGD）提供了正式的隐私保证，但与匹配更新对照相比，它并未显著减少记忆。HMAC假名化可有效减少原始标识符的暴露，并且性能指标表明，在测试的训练预算下，10亿到30亿参数的SLM无法为CSIRT任务提供运行上可用的性能。
-
新的差分隐私学习框架使用超网络来减少噪声影响
研究人员开发了一种新颖的差分隐私（DP）学习框架，该框架绕过了迭代参数空间优化。该方法不使用私有化梯度，而是采用在公共数据上训练的超网络，从私有数据集的扰动嵌入中生成模型参数。这种方法仅将隐私噪声注入一次到低维表示中，显著减少了其不利影响。理论分析表明，在合成设置中，其效用高于DP-SGD，并且在LoRA微调扩散模型上的实际应用与DP-SGD和其他公共数据引导方法相比，FID得分更低。
-
新审计器改进 f-Differential Privacy 评估，无需固定样本量
研究人员开发了新的审计器来经验性地评估算法的差分隐私 (DP)，重点关注富有表现力的 $f$-DP 概念。这些审计器可以在没有预先指定的样本量的情况下，以统计学显著性检测整个隐私谱中的隐私泄露。该方法自适应地确定最佳样本数量，显著降低了采样成本，这对于 DP-SGD 等昂贵的训练过程尤其有利。审计器支持白盒和黑盒设置，并可以集成到单次运行框架中。
-
新论文探讨高斯过程和机器学习报告中的差分隐私
两篇最新的arXiv论文探讨了机器学习中的差分隐私，重点关注高斯过程和报告机制。第一篇论文详细介绍了高斯过程后验采样固有的随机性如何提供差分隐私保证，其界限取决于正则化和后验方差。第二篇论文提倡使用非渐近高斯差分隐私（GDP）作为传达DP-SGD等算法隐私保证的更准确方法，并指出其能够以最小的误差捕获完整的隐私配置文件。
-
新的TRAP基准揭示AI代理泄露敏感数据，并提出隔离解决方案 · 跟踪3个来源
研究人员推出了TRAP，这是一个旨在评估AI代理在完成任务的同时抵抗隐私提取能力的新基准。该基准评估了任务准确性和数据泄露之间的权衡，发现当前专有和开源模型都存在显著的隐私泄露。现有的基于提示的防御措施只能提供部分解决方案，并且常常以牺牲任务性能为代价。一种名为结构化私有字段隔离的新方法在不影响准确性的情况下防止泄露方面显示出潜力。
-
联邦自动编码器在边缘设备上增强了具有隐私保护的心电图异常检测
研究人员开发了一种用于在边缘设备上检测心电图（ECG）数据异常的隐私保护联邦自动编码器系统。该系统结合了联邦学习、差分隐私和INT8量化，以维护患者的机密性，实现在Raspberry Pi 4等受限硬件上的实时推理，并在来自不同医院的非独立同分布（non-IID）数据下也能实现高质量的检测。研究发现，联邦学习的性能与集中式基线相当或更优，而INT8量化在准确性损失极小的情况下显著减小了模型大小和延迟，证明了隐私保护和边缘部署可以同时实现。
-
新的研究论文探讨了机器学习中的鲁棒隐私和差分隐私
两篇新研究论文探讨了机器学习模型的高级隐私技术。第一篇论文介绍了“鲁棒隐私”（RP），一种利用认证鲁棒性在推理过程中保护敏感属性的方法，显著降低了属性推断精度和模型反演攻击的成功率。第二篇论文提出了“气球均值”，一种计算上可行且鲁棒的差分隐私均值估计器，在污染数据设置下表现良好，并在模拟中优于现有方法。
-
脑电图基础模型在标准审计下仍泄露数据
研究人员开发了一个新的脑电图基础模型审计框架，该框架超越了单一端点评估。该框架联合审计多个端点，揭示了通过单项测试的模型仍可能泄露光谱属性。一个关键发现是，交叉编码器迁移审计证明了不同冻结编码器之间存在属性泄露，即使是标准的差分隐私随机梯度下降（DP-SGD）等防御措施也未能阻止。