本文介绍了一种新颖的去中心化联邦蒸馏方法,专为具有异构模型的客户端设计。该方法利用共享的无标签公共数据进行协作,其中每个客户端评估三个模态的预测:类别预测、边界决策和预测相关性。不可靠的客户端被过滤掉,并根据其可靠性进行加权,为每种知识类型构建专门的教师。该方法在私有数据的监督梯度下验证蒸馏梯度,去除冲突信息并抑制关系梯度,然后更新模型。在CIFAR-10和CIFAR-100数据集上的实验表明,在非IID数据和拜占庭攻击下,异构模型的预测准确性得到了提高,表明其在不可靠的现实世界去中心化环境中具有采用潜力。 AI
影响 这项研究可以提高在具有异构模型和潜在恶意行为者的去中心化环境中的联邦学习系统的鲁棒性和准确性。
排序理由 该集群包含一篇详细介绍新研究方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →