实体
Radhakrishna Achanta
Radhakrishna Achanta
PulseAugur coverage of Radhakrishna Achanta — every cluster mentioning Radhakrishna Achanta across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究通过谱控制和低秩方法解决联邦微调问题 · 跟踪2个来源
两篇新研究论文提出了用于联邦参数高效微调（PEFT）的新颖方法，以解决通信瓶颈并提高模型在去中心化数据上的性能。第一篇论文介绍了TRISHUL，一个谱控制框架，它使用共享的冻结基和核范数收缩来稳健地聚合客户端更新，在LLaMA3.2-1B的视觉和语言基准测试中显示出收益。第二篇论文提出了FLITE，它利用带有低秩分解和增量公式的映射网络，实现了通信负载的大幅减少，在CIFAR-100和ResNet-18上表现强劲，即使在极端数据压缩下也是如此。
-
TallyTrain协议大幅削减联邦学习通信成本
研究人员开发了TallyTrain，一种新颖的联邦学习协议，旨在显著降低通信开销。该方法仅传输每个探针的预测类别索引，而非完整的软标签，这对于大量的类别计数尤其有效。通过过滤掉欠训练同伴的噪声，TallyTrain在非独立同分布（non-IID）场景下可以优于传统的软标签蒸馏。此外，一种带宽桥接变体将TallyTrain与稀疏参数合并相结合，在各种操作点上均优于FedAvg和FedProx等标准基线。