一篇新的研究论文探讨了在训练神经网络时使用的不同优化算法如何影响训练数据的隐私。这项研究扩展了先前关于 Karush-Kuhn-Tucker 条件的工作,表明 SGD 和 Muon 等优化器会留下独特的“指纹”,可被利用来重建训练样本。相比之下,Adam,尤其是在其 $\ell_\infty$ 隐式偏差机制下,似乎更能抵抗此类数据重建攻击。 AI
影响 神经网络训练中优化器的选择可能对训练数据的隐私产生重大影响,可能影响未来的模型开发和部署策略。
排序理由 论文发表在 arXiv 上,详细介绍了关于优化器隐式偏差及其对训练数据隐私影响的发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →