TL++

新的TL++框架增强了分布式AI训练的隐私和准确性

研究人员推出了一种新颖的框架TL++，专为需要在不集中原始数据的情况下跨不同数据孤岛训练模型的分布式智能系统而设计。该系统提供两种模式：一种基础模式，通过交换切层激活和梯度来模拟集中式小批量梯度行为；另一种安全模式，将这些张量在协调器和助手之间进行秘密共享，以防止明文数据被观察到。在CIFAR-10和BioGPT/PubMedQA数据集上的评估表明，TL++在准确性方面显著优于现有的联邦学习和拆分学习方法，同时大大降低了通信开销。