PulseAugur
实时 19:47:32
English(EN) Locking Pretrained Weights via Deep Low-Rank Residual Distillation

苹果发布DLR-Lock以保护大语言模型权重免遭未经授权的使用

苹果机器学习研究部门推出了一种名为DLR-Lock的新方法,用于保护预训练语言模型的权重免遭未经授权的修改。该技术通过用深度低秩残差网络(DLR-Net)替换每个多层感知器(MLP),增加了反向传播时的内存需求。DLR-Lock旨在使微调优化复杂化并增加反向传播开销,从而抵御自适应攻击者,同时保留模型的原始能力,这一点已通过在大语言模型上的实验得到验证。 AI

影响 引入了一种新的防御机制,可抵御未经授权的模型适应,可能影响开源大语言模型生态系统。

排序理由 研究论文,详细介绍了一种新颖的模型权重保护方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 Apple Machine Learning Research 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

苹果发布DLR-Lock以保护大语言模型权重免遭未经授权的使用

报道来源 [1]

  1. Apple Machine Learning Research TIER_1 English(EN) ·

    Locking Pretrained Weights via Deep Low-Rank Residual Distillation

    The quality of open-weight language models has dramatically improved in recent years. Sharing weights greatly facilitates model adoption by enabling their use across diverse hardware and software platforms. They also allow for more open research and testing, to the extent that us…