新的 SpecTraL 方法改进了视觉 Transformer 的联邦 LoRA

研究人员开发了一种名为 SpecTraL 的新方法，用于使用低秩适配器 (LoRA) 改进视觉 Transformer (ViTs) 的联邦学习。该方法解决了现有策略的局限性，例如 LoRA 因子的一致性平均和连接本地适配器带来的下载成本增加。SpecTraL 在低秩潜在空间中利用 Householder 变换和随机矩阵理论的原理，将全局共识信号与噪声分离，从而无需手动调整即可发现最优的层级全局秩。实验表明，SpecTraL 增强了准确性-通信权衡，并减少了服务器计算。 AI

影响 这项研究为在联邦环境中训练视觉 Transformer 提供了一种更有效的方法，有可能降低通信成本并提高模型性能。

排序理由 该集群包含一篇详细介绍视觉 Transformer 联邦学习新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• DomainNet
• Householder Transformation
• LoRA
• NICO++
• Random Matrix Theory
• Spiked Covariance Model
• Vision Transformers
• ViT-B/16
• ViT-L/16

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →