研究人员开发了一种用于差分隐私学习中无数据预训练的新方法,重点关注如何使用合成探针重建Kronecker因子。题为“Spectrum Is Not Enough: A Random-Matrix Account of Data-Free Preconditioning for Differentially Private Learning”的研究表明,某些因子可以在没有私有数据的情况下重建,而另一些因子,特别是数据诱导的峰值,则不能。该研究根据随机矩阵理论确定了一个阈值,在此阈值下这些峰值变得不可见,并表明仅匹配探针频谱不足以实现有效的预训练。 AI
影响 为差分隐私学习中的无数据预训练引入了理论框架,可能改进隐私保护的模型训练。
排序理由 学术论文,详细介绍了差分隐私学习的新理论方法和实验验证。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →