DP SGD
PulseAugur coverage of DP SGD — every cluster mentioning DP SGD across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
新的抖动高斯机制增强了差分隐私效率
研究人员推出了一种新的差分隐私方法——抖动高斯机制，该方法增强了安全性和效率。该方法离散化私有输出而非噪声分布，继承了标准高斯机制的隐私保证，同时减轻了来自有限精度浮点输出的漏洞。该机制旨在提高随机性效率，将用于离散化的关键采样的高质量随机比特与公共源分离，从而能够使用密码学安全的随机性，同时对性能影响最小。在DP-SGD中用于模型训练的应用表明，其在降低浮点风险和适度开销的情况下，具有安全生成噪声的潜力。
-
ICML 2026：AI 在效率、理论和鲁棒性方面取得进展
在 ICML 2026 上发表的多篇研究论文探讨了 AI 的进展，重点关注效率、鲁棒性和新的理论框架。关键进展包括加速深度学习操作的新方法，如窗口化批矩阵乘法 (WBMM) 和高效的 4 位训练 (TetraJet-v2)。研究人员还通过 CPO 解决了模型对齐的理论挑战，并通过内部指标（如隐藏状态的 L2 范数）提出了理解和改进模型推理的新方法。
-
新的DP-NGD框架提升了隐私保护机器学习的效用和速度 · 跟踪2个来源
研究人员开发了DP-NGD，一个新颖的差分隐私自然梯度下降框架，旨在提高隐私保护机器学习的效用。与忽略损失曲率的标准DP-SGD不同，DP-NGD整合了这一信息，以实现更快的收敛速度和更高的准确性。该框架通过解耦曲率估计并采用具有动态钳制的白化空间机制，解决了隐私预算消耗和训练不稳定性等挑战。
-
新方法改进了AI算法的隐私损失核算
研究人员开发了一种有效计算差分隐私算法中隐私损失的新方法，特别适用于涉及子采样和随机分配的算法。该方法在最近的arXiv论文中有所详述，通过使用隐私损失分布（PLD）实现的概念，提供了比先前分析更严格的隐私参数，并简化了隐私损失核算。新工具将精确核算扩展到了子采样，而子采样以前需要特定机制的分析，并证明了随机分配的性能至少与泊松子采样一样好，尤其是在通过DP-SGD进行训练时。
-
新的RaCO-DP方法通过公平性约束增强了私有学习
研究人员开发了RaCO-DP，一种在满足速率约束的同时，在差分隐私下优化机器学习模型的新颖方法。该方法解决了将标准DP技术应用于依赖于亚群体聚合统计（如群体公平性约束）的目标所面临的挑战。RaCO-DP利用拉格朗日公式和对随机梯度下降-上升（SGDA）的新颖分析来确保隐私和收敛性。实证结果表明，RaCO-DP在隐私、效用和公平性方面优于现有的私有学习方法，尤其是在神经网络方面。
-
研究：DP SGD对CSIRT数据中的SLM记忆减少无效
一篇新的研究论文探讨了在计算机安全事件响应团队（CSIRT）的敏感数据上微调小型语言模型（SLM）时减少记忆的方法。研究发现，虽然差分隐私（DP SGD）提供了正式的隐私保证，但与匹配更新对照相比，它并未显著减少记忆。HMAC假名化可有效减少原始标识符的暴露，并且性能指标表明，在测试的训练预算下，10亿到30亿参数的SLM无法为CSIRT任务提供运行上可用的性能。
-
新的差分隐私学习框架使用超网络来减少噪声影响
研究人员开发了一种新颖的差分隐私（DP）学习框架，该框架绕过了迭代参数空间优化。该方法不使用私有化梯度，而是采用在公共数据上训练的超网络，从私有数据集的扰动嵌入中生成模型参数。这种方法仅将隐私噪声注入一次到低维表示中，显著减少了其不利影响。理论分析表明，在合成设置中，其效用高于DP-SGD，并且在LoRA微调扩散模型上的实际应用与DP-SGD和其他公共数据引导方法相比，FID得分更低。
-
新审计器改进 f-Differential Privacy 评估，无需固定样本量
研究人员开发了新的审计器来经验性地评估算法的差分隐私 (DP)，重点关注富有表现力的 $f$-DP 概念。这些审计器可以在没有预先指定的样本量的情况下，以统计学显著性检测整个隐私谱中的隐私泄露。该方法自适应地确定最佳样本数量，显著降低了采样成本，这对于 DP-SGD 等昂贵的训练过程尤其有利。审计器支持白盒和黑盒设置，并可以集成到单次运行框架中。
-
新论文探讨高斯过程和机器学习报告中的差分隐私
两篇最新的arXiv论文探讨了机器学习中的差分隐私，重点关注高斯过程和报告机制。第一篇论文详细介绍了高斯过程后验采样固有的随机性如何提供差分隐私保证，其界限取决于正则化和后验方差。第二篇论文提倡使用非渐近高斯差分隐私（GDP）作为传达DP-SGD等算法隐私保证的更准确方法，并指出其能够以最小的误差捕获完整的隐私配置文件。
-
新的TRAP基准揭示AI代理泄露敏感数据，并提出隔离解决方案 · 跟踪3个来源
研究人员推出了TRAP，这是一个旨在评估AI代理在完成任务的同时抵抗隐私提取能力的新基准。该基准评估了任务准确性和数据泄露之间的权衡，发现当前专有和开源模型都存在显著的隐私泄露。现有的基于提示的防御措施只能提供部分解决方案，并且常常以牺牲任务性能为代价。一种名为结构化私有字段隔离的新方法在不影响准确性的情况下防止泄露方面显示出潜力。
-
联邦自动编码器在边缘设备上增强了具有隐私保护的心电图异常检测
研究人员开发了一种用于在边缘设备上检测心电图（ECG）数据异常的隐私保护联邦自动编码器系统。该系统结合了联邦学习、差分隐私和INT8量化，以维护患者的机密性，实现在Raspberry Pi 4等受限硬件上的实时推理，并在来自不同医院的非独立同分布（non-IID）数据下也能实现高质量的检测。研究发现，联邦学习的性能与集中式基线相当或更优，而INT8量化在准确性损失极小的情况下显著减小了模型大小和延迟，证明了隐私保护和边缘部署可以同时实现。
-
新的研究论文探讨了机器学习中的鲁棒隐私和差分隐私
两篇新研究论文探讨了机器学习模型的高级隐私技术。第一篇论文介绍了“鲁棒隐私”（RP），一种利用认证鲁棒性在推理过程中保护敏感属性的方法，显著降低了属性推断精度和模型反演攻击的成功率。第二篇论文提出了“气球均值”，一种计算上可行且鲁棒的差分隐私均值估计器，在污染数据设置下表现良好，并在模拟中优于现有方法。
-
脑电图基础模型在标准审计下仍泄露数据
研究人员开发了一个新的脑电图基础模型审计框架，该框架超越了单一端点评估。该框架联合审计多个端点，揭示了通过单项测试的模型仍可能泄露光谱属性。一个关键发现是，交叉编码器迁移审计证明了不同冻结编码器之间存在属性泄露，即使是标准的差分隐私随机梯度下降（DP-SGD）等防御措施也未能阻止。
-
新的 DP-SGD 方法更新更少的坐标以提高效率
研究人员开发了一种名为 TP-TopK DP-SGD 的新方法，以提高差分隐私随机梯度下降的效率。该技术旨在通过在私有训练期间更新更少的坐标来减少计算开销，同时不牺牲优化信号。该方法采用两阶段方法，其中初始私有阶段确定主要训练阶段的相关坐标，可能将噪声影响从完整的参数维度降低到较小的活动维度。
-
新PRISM方法增强LoRA模型的差分隐私
研究人员推出PRISM，一种将差分隐私应用于机器学习模型低秩适配（LoRA）的新方法。传统方法面临挑战，因为LoRA的低秩分解并非唯一，会导致噪声放大。PRISM通过规范不变性解决了这个问题，防止了双线性噪声放大，并允许在有界扰动下实现稳定的隐私-效用权衡。该方法还包括一个感知差分隐私的自适应更新规则，以维持数值稳定性。
-
新研究将 DP-SGD 中的隐私和泛化联系起来
一篇题为“从隐私到泛化：DP-SGD 的线性最大信息界限”的新研究论文已在 arXiv 上发表。该论文解决了理解使用差分隐私随机梯度下降 (DP-SGD) 训练的深度学习模型中泛化与隐私之间联系的挑战。它为 DP-SGD 引入了一个与数据集大小成线性关系的有限样本界限，类似于之前关于 $\epsilon$-差分隐私算法的工作。
-
新框架为审计RDP机器学习提供最优保证
研究人员开发了一个新的审计框架，用于审计声称具有Rényi差分隐私（RDP）的机器学习算法。该框架使用Donsker-Varadhan（DV）估计器直接测量Rényi散度，为RDP审计提供明确的置信区间。所提出的方法实现了信息论最优的样本复杂度保证，并在经验上优于现有的黑盒方法，尤其是在具有挑战性的小和中等Rényi阶数方面。
-
新理论界定了 KAN 训练的界限，揭示了隐私-实用性差距
研究人员为训练 Kolmogorov-Arnold 网络（KANs，一种结构化的 MLP 替代方案）建立了新的理论界限。该工作分析了使用小批量随机梯度下降（SGD）训练的 KANs，包括具有相关噪声的差分隐私变体。这些发现揭示了非私有和私有训练模式之间的差距，表明差分隐私需要对数多项式网络宽度。
-
新的DP-LAC方法增强了私有联邦LLM微调
研究人员开发了DP-LAC，一种用于语言模型差分隐私联邦微调的新方法。该技术通过估计初始裁剪阈值并在训练过程中进行调整，而无需额外的隐私成本或新的超参数，从而改进了现有的自适应裁剪方法。与最先进的自适应裁剪和标准DP-SGD方法相比，DP-LAC的平均准确率提高了6.6%。
-
新的 DP-SGD 子采样方法提供了改进的隐私-效用权衡
两篇新研究论文探讨了差分私有随机梯度下降（DP-SGD）的优化子采样技术。第一篇论文侧重于随机洗牌，在 f-DP 框架内提供了紧密的上限和下限，在大量训练轮次中实现了近乎理想的隐私。第二篇论文介绍了平衡迭代子采样（BIS），表明结构化参与而非随机抽样可以带来更强的隐私放大和跨噪声谱的最优权衡。评估表明，BIS 在低噪声环境下始终优于泊松子采样，从而降低了所需的噪声乘数。