PulseAugur
实时 05:50:10
English(EN) My federated learning project just showed that "high accuracy" can completely hide a model missing every single attack from an entire category, and I think more people should know about this [R]

研究发现联邦学习准确率可能掩盖模型关键故障

一项比较用于网络入侵检测的联邦学习算法的研究项目显示,高全局准确率可能会掩盖在少数数据孤岛上的糟糕表现。研究发现,FedAvg 实现了 96% 的全局准确率,但在一个只有 300 万个样本中的 3000 个样本的“Web 攻击”小孤岛中,它漏报了所有攻击。相比之下,FedNova 在所有孤岛和种子中都表现出持续的高性能,这凸显了客户端性能指标和聚合方法对于检测罕见攻击的重要性。 AI

影响 强调了在联邦学习中,尤其是在处理不平衡数据集时,需要有可靠的评估指标,以确保在实际应用中的性能稳定。

排序理由 研究论文,详细介绍了关于联邦学习算法和评估指标的发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/MachineLearning 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究发现联邦学习准确率可能掩盖模型关键故障

报道来源 [1]

  1. r/MachineLearning TIER_1 English(EN) · /u/Initial-Street6388 ·

    我的联邦学习项目刚刚表明,“高准确率”可以完全掩盖模型在某一类攻击中全部失败的情况,我认为更多人应该知道这一点 [R]

    <!-- SC_OFF --><div class="md"><p>So for context, I've been working on this research project comparing federated learning algorithms (FedAvg, FedProx, FedNova) against a centralized baseline for network intrusion detection, using the CICIDS2017 dataset split across four simulated…