研究人员开发了新的方法 PrivBoN 和 PrivITP,以增强大型语言模型在推理过程中的差分隐私。这些技术解决了奖励破解问题以及敏感训练数据缺乏隐私保护的问题。PrivBoN 使用 Gumbel 噪声来实现差分隐私和 KL 正则化对齐,在特定隐私预算下匹配理论性能。PrivITP 进一步通过结合 $\chi^2$-正则化拒绝采样和高斯机制来改进这一点,提供与响应数量无关的事后 $(\epsilon,\delta)$-DP,并将正则化与隐私参数解耦。 AI
影响 这些方法可以通过在推理过程中保护敏感用户数据,从而实现更安全的 LLM 部署。
排序理由 详细介绍大型语言模型差分隐私新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →