研究人员推出了一种名为个性化联邦直接偏好优化(pFedDPO)的新方法,可在不集中敏感数据的情况下对分布式智能体间的语言模型进行对齐。与假设单一共享策略的先前方法不同,pFedDPO允许每个客户端在全局基础模型之上维护一个小的、私有的LoRA适配器。这种分解旨在减少梯度多样性,同时捕捉客户端特定的偏好,从而提高训练效率和奖励准确性。 AI
影响 在去中心化环境中实现更高效、更注重隐私的AI模型对齐。
排序理由 详细介绍AI模型对齐新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- FedAvg
- Federated Direct Preference Optimization
- Hugging Face
- LoRA
- Personalized Federated Direct Preference Optimization
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →