两篇新研究论文探讨了差分私有随机梯度下降(DP-SGD)的优化子采样技术。第一篇论文侧重于随机洗牌,在 f-DP 框架内提供了紧密的上限和下限,在大量训练轮次中实现了近乎理想的隐私。第二篇论文介绍了平衡迭代子采样(BIS),表明结构化参与而非随机抽样可以带来更强的隐私放大和跨噪声谱的最优权衡。评估表明,BIS 在低噪声环境下始终优于泊松子采样,从而降低了所需的噪声乘数。 AI
影响 这些研究为差分私有机器学习提供了新方法,有望实现具有更强隐私保证的更高效用模型。
排序理由 两篇在 arXiv 上发表的学术论文,展示了 DP-SGD 子采样技术的新理论和实证结果。
- arXiv
- Berry-Esseen theorem
- DP-SGD
- f-DP
- Balanced Iteration Subsampling (BIS)
- Murat Bilgehan Ertan
- Poisson subsampling
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →