研究人员开发了 PACZero，一种新颖的大型语言模型微调方法，可提供强大的隐私保证。该方法利用梯度的符号量化来实现一种隐私机制，在这种机制下，成员推断攻击的成功率不高于随机猜测。PACZero 在 SST-2 和 SQuAD 等标准基准测试中表现出具有竞争力的性能，即使在零互信息的情况下，在高隐私设置下也优于先前的方法。 AI
影响 引入了一种新的隐私保护微调技术，可能促进 LLM 在敏感应用中的更广泛采用。
排序理由 该集群包含一篇 arXiv 预印本，详细介绍了一种具有隐私保证的语言模型微调新方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.06505v1 Announce Type: new Abstract: We introduce PACZero, a family of PAC-private zeroth-order mechanisms for fine-tuning large language models that delivers usable utility at $I(S^*; Y_{1:T})=0$. This privacy regime bounds the membership-inference attack (MIA) poster…
We introduce PACZero, a family of PAC-private zeroth-order mechanisms for fine-tuning large language models that delivers usable utility at $I(S^*; Y_{1:T})=0$. This privacy regime bounds the membership-inference attack (MIA) posterior success rate at the prior, an MIA-resistance…