研究人员推出了一种新颖的大型语言模型联邦学习框架SDFLoRA,该框架解决了异构客户端带来的挑战。SDFLoRA选择性地将客户端更新解耦为共享和私有组件,从而在保持差分隐私的同时实现稳定的聚合和更好的个性化。实验表明,SDFLoRA的性能优于现有的联邦LoRA方法,提供了改进的效用-隐私权衡。 AI
影响 SDFLoRA提高了联邦LLM微调的隐私性和个性化,有望实现更强大、更安全的分布式人工智能开发。
排序理由 该集群包含一篇详细介绍LLM微调新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- differential privacy
- federated learning
- Hugging Face
- large-language models
- Lora
- Low Rank Adaptation
- SDFLoRA
- Zhikang Shen
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →