Dipsan Bhattarai

新研究通过谱控制和低秩方法解决联邦微调问题 · 跟踪2个来源

两篇新研究论文提出了用于联邦参数高效微调（PEFT）的新颖方法，以解决通信瓶颈并提高模型在去中心化数据上的性能。第一篇论文介绍了TRISHUL，一个谱控制框架，它使用共享的冻结基和核范数收缩来稳健地聚合客户端更新，在LLaMA3.2-1B的视觉和语言基准测试中显示出收益。第二篇论文提出了FLITE，它利用带有低秩分解和增量公式的映射网络，实现了通信负载的大幅减少，在CIFAR-100和ResNet-18上表现强劲，即使在极端数据压缩下也是如此。