Backward Wire

研究发现：Split-LLM 训练通过梯度模式泄露私有数据

一项关于 split-LLM 训练的新研究揭示了一个关键的隐私漏洞，其中返回的梯度会无意中暴露敏感数据。研究人员发现，尽管初步的隐私检查通过了，但与诱饵数据点相关的零梯度模式允许攻击者识别真实数据行。即使进行了梯度裁剪和噪声注入，这种泄露仍然存在，并可能导致令牌恢复攻击。这些发现突显了在分布式 LLM 训练中平衡效用和隐私的挑战，尤其是在反向通信方面。