PulseAugur
中
实时 08:31:39
English(EN) PACZero: PAC-Private Fine-Tuning of Language Models via Sign Quantization

PACZero 实现具有可用效用的 PAC-私有语言模型微调

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了 PACZero，一种新颖的大型语言模型微调方法，可提供强大的隐私保证。该方法利用梯度的符号量化来实现一种隐私机制，在这种机制下，成员推断攻击的成功率不高于随机猜测。PACZero 在 SST-2 和 SQuAD 等标准基准测试中表现出具有竞争力的性能，即使在零互信息的情况下，在高隐私设置下也优于先前的方法。 AI

影响 引入了一种新的隐私保护微调技术，可能促进 LLM 在敏感应用中的更广泛采用。

排序理由 该集群包含一篇 arXiv 预印本，详细介绍了一种具有隐私保证的语言模型微调新方法。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

PACZero 实现具有可用效用的 PAC-私有语言模型微调

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Murat Bilgehan Ertan, Xiaochen Zhu, Phuong Ha Nguyen, Marten van Dijk, Srinivas Devadas ·

    PACZero: PAC-Private Fine-Tuning of Language Models via Sign Quantization

    arXiv:2605.06505v1 Announce Type: new Abstract: We introduce PACZero, a family of PAC-private zeroth-order mechanisms for fine-tuning large language models that delivers usable utility at $I(S^*; Y_{1:T})=0$. This privacy regime bounds the membership-inference attack (MIA) poster…

  2. arXiv cs.AI TIER_1 English(EN) · Srinivas Devadas ·

    PACZero: PAC-Private Fine-Tuning of Language Models via Sign Quantization

    We introduce PACZero, a family of PAC-private zeroth-order mechanisms for fine-tuning large language models that delivers usable utility at $I(S^*; Y_{1:T})=0$. This privacy regime bounds the membership-inference attack (MIA) posterior success rate at the prior, an MIA-resistance…

相关实体

相关话题