prune-train-recover

新框架支持隐私保护的LoRA融合，用于跨域AI任务

研究人员开发了一个名为prune-train-recover的新框架，以支持在剪枝模型上进行本地LoRA训练，实现云边协同。该方法通过允许在边缘设备上训练LoRA适配器而不上传敏感域数据来解决隐私问题。研究还引入了跨域基准MMLU-CD，并发现现有的LoRA融合方法在此类任务上的表现不佳，通常性能低于基础LLM。为了解决这个问题，提出了一种冲突解决模块LoRA-CR，通过缓解参数冲突，性能提高了高达3.8%。