PulseAugur
中
实时 06:41:42
English(EN) How Many Bits Can an Adapter Write? Measuring the Capacity and Memorization of Parameter-Efficient Fine-Tuning

研究量化LoRA适配器的数据存储和隐私泄露

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新的研究论文调查了LoRA适配器（一种参数高效微调方法）的数据存储容量。该研究以比特为单位量化了这些适配器存储的信息量，发现其远少于完全微调，并且取决于适配器在模型架构中的位置。在应用于Qwen2.5时，研究揭示隐私泄露与存储的比特数相关，而非参数数量，区分了监督微调的逐字复制和强化学习的基于奖励的记录。 AI

影响 提供了一种量化方法来设计参数高效微调中的隐私泄露防护。

排序理由 研究论文分析特定AI技术。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究量化LoRA适配器的数据存储和隐私泄露

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Kaizhen Tan, Heqing Du, Yang Feng ·

    适配器能写入多少比特？衡量参数高效微调的容量和记忆能力

    arXiv:2607.21351v1 Announce Type: new Abstract: A LoRA adapter is a few megabytes that almost everyone treats as a skill rather than a record of the data behind it. We put that assumption on a scale. Extending compression-based memorization analysis to the frozen-base setting, we…

相关实体

相关话题