Trusted Local Node

Split LLM训练通过梯度返回泄露私有数据

一篇新的研究论文详细介绍了一种在Split Large Language Model (LLM)训练系统中存在的重大隐私漏洞。研究发现，即使在受信任的本地节点将受保护的激活发送给不受信任的云节点时，云节点返回的梯度也可能泄露实际使用了哪些数据行。这是因为诱饵数据的梯度为零，从而形成了一个识别真实数据的模式。研究表明，即使在模型质量得到维持、通过了标准的隐私和质量检查，但梯度泄露问题依然存在。