研究人员开发了应用于选择性状态空间模型(SSM),如 Mamba2 的联邦学习算法的新收敛性分析。现有的联邦学习方法在很大程度上是与架构无关的,并且没有考虑到现代 SSM 的独特特性。该研究推导了 SSM 的面向架构的界限,并在此背景下分析了 FedAvg 和 FedProx 的性能。在 Mamba2 语言建模的各种文本域上进行了实验,以验证这些界限并解释 SSM 联邦学习算法的行为。 AI
影响 为将联邦学习应用于先进的序列模型提供了理论基础,可能改进隐私保护的模型训练。
排序理由 该集群包含一篇详细介绍机器学习算法新颖理论分析和实验验证的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →