PulseAugur
中
实时 11:08:05
English(EN) Privacy Amplification in Differentially Private Zeroth-Order Optimization with Hidden States

研究人员为 DP 零阶优化开发了新颖的隐私放大方法

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种新颖的差分隐私零阶优化方法，该技术对于在遵守隐私和内存限制的同时对大型语言模型进行微调至关重要。现有的通过迭代进行隐私放大 (PABI) 分析对于一阶方法是有效的，但由于各向异性噪声注入，不直接适用于零阶方法。这项新工作引入了一种混合噪声机制和独特的耦合分析，为零阶优化建立了第一个收敛的隐藏状态 DP 界限，有望带来改进的算法设计。 AI

影响 为私有 LLM 微调引入了新的理论框架，有望实现更安全、更高效的模型适应。

排序理由 这是一篇详细介绍差分隐私优化新颖算法方法的学术论文。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究人员为 DP 零阶优化开发了新颖的隐私放大方法

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Eli Chien, Wei-Ning Chen, Pan Li ·

    具有隐藏状态的差分隐私零阶优化中的隐私放大

    arXiv:2506.00158v2 Announce Type: replace Abstract: Zeroth-order optimization has emerged as a promising approach for fine-tuning large language models under differential privacy (DP) and memory constraints. While privacy amplification by iteration (PABI) provides convergent DP b…

相关实体

相关话题