研究人员开发了一种新颖的差分隐私零阶优化方法，该技术对于在遵守隐私和内存限制的同时对大型语言模型进行微调至关重要。现有的通过迭代进行隐私放大 (PABI) 分析对于一阶方法是有效的，但由于各向异性噪声注入，不直接适用于零阶方法。这项新工作引入了一种混合噪声机制和独特的耦合分析，为零阶优化建立了第一个收敛的隐藏状态 DP 界限，有望带来改进的算法设计。 AI
影响 为私有 LLM 微调引入了新的理论框架，有望实现更安全、更高效的模型适应。
排序理由 这是一篇详细介绍差分隐私优化新颖算法方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2506.00158v2 Announce Type: replace Abstract: Zeroth-order optimization has emerged as a promising approach for fine-tuning large language models under differential privacy (DP) and memory constraints. While privacy amplification by iteration (PABI) provides convergent DP b…