Instance-aware Expert Fusion

新的FedSEPT方法增强了视觉语言模型联邦提示调优的隐私保护能力

研究人员推出了一种新颖的联邦提示调优方法FedSEPT，用于视觉语言模型，该方法增强了隐私保护并解决了数据异构问题。该方法利用子空间分解专家建模，创建具有共享低秩因子和私有残差的多个提示专家，将通信和隐私噪声限制在紧凑的因子空间内。此外，FedSEPT还采用了实例感知专家融合，用于自适应专家组合和使用缓存特征进行高效融合。在11个不同基准上的实验表明，在相同的隐私约束下，FedSEPT与现有方法相比，在本地适应性和全局泛化性之间取得了更优的平衡。