FedAvg
PulseAugur coverage of FedAvg — every cluster mentioning FedAvg across labs, papers, and developer communities, ranked by signal.
- instance of DagsHub 90%
- instance of Gotit.pub 90%
- instance of alphaXiv 90%
- instance of ScienceCast 90%
- instance of Federated Averaging 90%
- used by Gaussian mechanism 80%
- instance of federated learning 70%
- used by DagsHub 70%
- competes with FedProx 70%
- used by alphaXiv 70%
- used by CatalyzeX 70%
- used by CIFAR-10 70%
12 天有情绪数据
-
联邦学习优化器提高了汽车空气动力学代理模型的准确性
研究人员探索了联邦学习技术,用于在不共享专有数据的情况下训练汽车空气动力学代理模型。该研究在DrivAerNet++数据集上比较了FedMuon和FedMARS-M等谱优化器与FedAvg和SCAFFOLD-Adam等非谱方法。谱优化器,特别是FedMuon和FedMARS-M,在使用的局部周期数较少的情况下,将阻力误差控制在集中训练的2%以内,其性能显著优于非谱方法,后者即使经过大量训练仍显示出相当大的误差。
-
新攻击可从联邦学习客户端恢复精确训练数据
研究人员开发了一种新颖的攻击流程,可以从参与联邦学习的客户端中提取精确的训练数据。该方法解决了先前梯度反演攻击的局限性,这些攻击在诸如FedAvg之类的算法中,由于客户端贡献的纠缠而难以恢复精确的文本数据。新的流程迭代地减去恢复的句子梯度,从而实现了100%精度的精确句子恢复,并在先前方法完全失败的挑战性场景中恢复了高达80.2%的客户端句子。
-
联邦学习聚合规则在小型临床合作中失效
对联邦学习中八种标准拜占庭鲁棒聚合规则的新审计发现,当应用于通常只有少数几家医院参与的真实临床合作时,存在显著问题。研究发现,现有的有效性检查未能考虑到倾斜联盟中的故障,尤其是在一家医院拥有大部分训练数据的情况下。在这种情况下,样本量加权可能导致数据份额独裁和模型崩溃,诚实训练数据的丢失比对抗性攻击更重要。
-
联邦学习聚合方法UPGrad展现性能提升
研究人员推出了一种新颖的联邦学习聚合方法UPGrad,旨在通过解决客户端更新之间的冲突来提高模型性能。与现有的FedFV、FedGH和FedMGDA+等方法不同,UPGrad专注于将任何客户端的损失提高到一阶。在CIFAR-10上的实验显示,在完全参与的情况下性能提升了+0.78个百分点,尽管当纳入未使用数据时,这一优势有所减弱。该研究还强调,在聚合策略中通常被视为一个量的四个量——冲突、可行性、保真度和位移——实际上可能显著分离。
-
新的FedEEG方法增强了联邦脑电图学习的隐私性
研究人员开发了一种名为FedEEG的新方法,用于差分隐私联邦类增量学习,专门针对使用可穿戴脑电设备数据的少量人群。该方法结合了突触智能(Synaptic Intelligence)巩固和滞后自适应FedProx项,以减轻灾难性遗忘,其性能优于标准的FedAvg和FedProx方法。该研究还引入了头域客户端级差分隐私(DP),通过降低可实现的epsilon值来显著增强隐私保护,同时保持与非私有训练相当的效用。
-
流程挖掘增强工业物联网的联邦异常检测
研究人员开发了一种新颖的面向工业物联网系统的联邦异常检测方法,该方法解决了非独立同分布(non-IID)数据带来的挑战。该方法利用流程挖掘来评估本地节点数据与全局参考的相似性,从而在聚合过程中动态加权本地模型。实验表明,与标准的联邦学习技术相比,该方法显著提高了F1分数并减少了误报。
-
新的攻击方法可从联邦学习模型中重建私有数据
研究人员开发了一种从联邦学习模型中重建私有数据的新方法,该方法专门针对广泛使用的FedAvg场景。该方法包括近似中间模型更新,并采用通过贝叶斯优化调整的逐层加权损失函数,以提高重建数据的质量。实验证明了这种近似加权攻击(AWA)方法的有效性,与现有技术相比,在图像数据重建方面显示出显著的改进。
-
联邦平均收敛性在无BGD假设下得到分析
本文在一般方差条件下分析了部分参与的联邦平均(FedAvg)的收敛性。作者为光滑的非凸目标建立了有限时间平稳性界限,该界限显示了采样客户数量的线性加速。他们的结果不需要额外的数据异质性假设,如边界梯度差异性(BGD),并通过一个违反BGD但被其分析所涵盖的例子证明了其重要性。
-
新框架揭示了联邦 LoRA 适配视觉 Transformer 中的隐私风险
研究人员开发了一个新框架,用于解决在使用 LoRA 等参数高效微调方法和视觉 Transformer 进行联邦学习时出现的隐私风险。所提出的空间锚定生成反演框架通过将可训练的位置嵌入整合到 ViT 块中,提高了私有数据的重建质量。该方法在 CIFAR-10、CelebA 和 CARS 等数据集上显著提高了 PSNR、SSIM 和 LPIPS 等图像重建指标,表明仅基于 LoRA 的微调本身并不能固有地防止联邦学习中的数据泄露。
-
联邦学习利用物理定律保障关键基础设施异常检测
研究人员开发了一种新颖的联邦学习方法,该方法利用质量守恒等物理不变性来保障关键水务基础设施中的异常检测模型。此方法允许运营商在不泄露敏感运营数据的情况下训练共享的入侵检测模型。通过从干净的运营数据中自动挖掘这些不变性,系统可以验证模型更新的完整性,并区分诚实贡献和数据投毒攻击的贡献。该方法已在 SWaT 和 WADI 等水务测试平台进行了测试,证明了其在拒绝伪造遥测数据和提高各种攻击的检测率方面的有效性,并且可以通过零知识证明验证合规性。
-
LLM 在联邦学习中动态选择聚合规则
研究人员开发了 FedReason,一种利用大型语言模型 (LLM) 在联邦学习中动态选择聚合规则的新方法。FedReason 不依赖于固定的规则,而是使用 LLM 分析客户端模型并在每十轮生成用于聚合的 Python 代码。该方法在处理异构数据分布和拜占庭客户端方面显示出潜力,在某些场景下优于 FedAvg 等传统方法。该系统的成本极低,API 费用平均每运行 60 轮为 0.79 美元。
-
联邦学习系统FedXCrop增强了作物病害检测的隐私保护
研究人员开发了FedXCrop,一个专为隐私保护作物病害检测设计的联邦学习系统。该系统允许在农场无需共享原始数据的情况下训练病害分类模型。研究还使用Grad-CAM++和SmoothGrad等技术定量评估了聚合全局模型的可解释性,发现虽然解释通常集中在相关的叶片区域,但随着数据异质性的增加,其准确性和一致性会下降。
-
联邦学习模型可以从静态上下文中学习用于时间序列预测
一篇新的研究论文探讨了联邦学习模型如何有效地利用静态上下文信息进行时间序列预测。研究发现,像FedAdam这样的每批次聚合方法在从该静态输入中提取价值方面优于FedAvg和FedAdam+Prox等通信效率方案。该研究在包括风力发电和建筑能耗数据在内的数据集上进行,表明静态上下文学习的有效性并不局限于Temporal Fusion Transformer等特定架构。
-
CovFedAvg 在无校准数据的情况下增强了联邦学习模型选择
研究人员推出了一种新颖的联邦模型选择方法 CovFedAvg,旨在提高跨数据分布不同的客户端的模型兼容性。与传统的 FedAvg 不同,CovFedAvg 保留本地模型并使用曲线控制来指导聚合过程以达到共享终点。该方法不需要集中的校准数据或客户端之间的样本交换,并保证所选模型的训练损失不会超过上一轮 FedAvg 候选模型的损失。虽然实验表明在合成和真实世界数据集上的准确性比 FedAvg 有适度提高,但研究表明,在与同等成本的优化方…
-
新框架增强了协作AI系统的可信度
提出了一种名为治理感知联邦学习(GAFL)的新框架,旨在增强协作AI系统的可信度和安全性。该框架整合了治理价值观的独立验证、时间信任机制、公平性和解释性评估以及防篡改审计日志。在Adult Income数据集上的实验表明,GAFL能有效识别恶意参与者和伪造证据,但也揭示了公平性策略与效用之间的权衡,导致在严格的人口统计均等阈值下,诚实参与者会频繁受到干预。GAFL每轮的额外治理处理开销远高于标准的FedAvg。
-
联邦学习框架实现隐私保护的表格到图像编码
研究人员开发了Fed-IGTD,一个利用联邦学习实现表格到图像编码的新型框架,无需集中敏感数据。该方法允许多个客户端通过仅共享本地统计数据来协同训练模型,服务器利用这些统计数据来重建全局相关矩阵并训练卷积神经网络。研究探讨了两种差分隐私机制,一种保护相关性聚合,另一种采用DP-FedAvg,发现映射构建过程中的隐私保护对性能影响很小,而DP-FedAvg在客户端数量少和隐私预算适中的情况下会显著降低效用。
-
联邦学习框架提升RGB-X跟踪精度
研究人员开发了Fed-MAPTrack,一个新颖的联邦学习框架,专为RGB-X跟踪任务设计。该方法解决了在不集中敏感视频数据的情况下训练多模态跟踪模型的挑战。Fed-MAPTrack优化了与提示相关的参数,允许仅RGB的客户端为全局RGB库做出贡献,同时为热成像、事件和深度数据维护独立的库。实验表明,在各种数据集上跟踪精度显著提高,在热成像和深度跟踪方面优于其他方法。
-
新的 FedStop 框架优化联邦学习中的本地训练轮次
研究人员开发了一个名为 FedStop 的新联邦学习框架,该框架可以优化每个客户端上的本地训练轮次数量。FedStop 不使用固定的轮次数量,而是将本地训练视为一个最优停止问题,客户端在预期损失减少量大于客户端漂移增加量时进行训练。这种方法旨在提高模型准确性,特别是对于性能较低的客户端,并在 CIFAR-10 数据集上与 FedAvg、ALT 和 FLASH 等现有方法相比,取得了具有竞争力或更优的结果。
-
联邦学习易受隐私泄露和数据投毒攻击
一份新报告详细介绍了联邦学习的漏洞,这是一种将预训练模型适配到本地用户数据的方法。研究人员发现,中央服务器可以从单个客户端更新中恢复私有标签集,尽管重建可能缺乏细节。虽然标签计数恢复随着客户端数量的增加而减少,但后门攻击仍然是一个重大威胁,随着恶意客户端数量的增加,成功率也会增加。FLTrust 等防御机制可以缓解这些风险,但在所有客户端都受到损害时则无效。
-
新的机制激励联邦学习中的数据贡献
一篇新的研究论文介绍了三种旨在激励联邦学习场景中数据贡献的机制。提出的方法 UPBReD、2P-UPBReD 和 T-2P-UPBReD,旨在确保战略数据所有者为共享模型的训练做出充分贡献。这些机制不仅鼓励参与,还同时学习模型参数,其中 T-2P-UPBReD 专门设计用于引发真实的贡献报告和近似梯度真实性,同时保持预算平衡。