TallyTrain

TallyTrain协议大幅削减联邦学习通信成本

研究人员开发了TallyTrain，一种新颖的联邦学习协议，旨在显著降低通信开销。该方法仅传输每个探针的预测类别索引，而非完整的软标签，这对于大量的类别计数尤其有效。通过过滤掉欠训练同伴的噪声，TallyTrain在非独立同分布（non-IID）场景下可以优于传统的软标签蒸馏。此外，一种带宽桥接变体将TallyTrain与稀疏参数合并相结合，在各种操作点上均优于FedAvg和FedProx等标准基线。