研究人员开发了一种名为 TP-TopK DP-SGD 的新方法，以提高差分隐私随机梯度下降的效率。该技术旨在通过在私有训练期间更新更少的坐标来减少计算开销，同时不牺牲优化信号。该方法采用两阶段方法，其中初始私有阶段确定主要训练阶段的相关坐标，可能将噪声影响从完整的参数维度降低到较小的活动维度。 AI
影响 这项研究可能带来更高效、可扩展的差分隐私机器学习模型。
排序理由 这是一篇详细介绍 DP-SGD 新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.04375v1 Announce Type: cross Abstract: Differentially private stochastic gradient descent (DP-SGD) injects noise into every updated coordinate, making the injected noise energy scale with the ambient parameter dimension \(d\). We ask when private training can update fe…
Differentially private stochastic gradient descent (DP-SGD) injects noise into every updated coordinate, making the injected noise energy scale with the ambient parameter dimension \(d\). We ask when private training can update fewer coordinates without losing the signal needed f…