研究人员推出了一种新颖的去中心化联邦学习方法 CALM,该方法可提高模型性能,尤其是在非独立同分布(non-IID)数据条件下。与依赖参数平均且需要相同客户端架构的传统方法不同,CALM 采用去中心化联邦蒸馏。此方法允许客户端从同伴模型快照中提取知识,无需中央服务器或共享架构。CALM 进一步通过引入三级信任门来优化此过程:基于一致性的类加权、基于教师发散的样本加权以及基于真实标签支持调整蒸馏强度的标签门。在 CIFAR-10 和 SVHN 等数据集上,使用异构客户端架构和狄利克雷标签偏斜进行测试,CALM 与均匀和硬过滤蒸馏方法相比,表现更优。 AI
影响 在非独立同分布数据的去中心化联邦学习场景中提高模型性能。
排序理由 该项目是一篇研究论文,详细介绍了一种新的联邦学习方法。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Calm
- CIFAR-10
- federated learning
- Google Speech Commands
- OrganAMNIST
- The Street View House Numbers Dataset
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →