JEPA-Prune

新的JEPA-Prune方法以最小的效用损失移除了微调LLM中的PII

研究人员开发了一种名为JEPA-Prune的新方法，以解决微调后大型语言模型（LLM）中的隐私问题。该技术旨在移除个人身份信息（PII），同时不显著降低模型的性能。JEPA-Prune使用联合嵌入预测架构（JEPA）在无PII的数据上训练一个参考模型，使其能够识别并修剪微调模型中的PII特定神经元。实验表明，修剪少量神经元可以显著降低PII推理准确性和提取召回率，同时保持效用。