一篇新的研究论文详细介绍了一种在Split Large Language Model (LLM)训练系统中存在的重大隐私漏洞。研究发现,即使在受信任的本地节点将受保护的激活发送给不受信任的云节点时,云节点返回的梯度也可能泄露实际使用了哪些数据行。这是因为诱饵数据的梯度为零,从而形成了一个识别真实数据的模式。研究表明,即使在模型质量得到维持、通过了标准的隐私和质量检查,但梯度泄露问题依然存在。 AI
影响 凸显了分布式LLM训练中一个关键的安全缺陷,可能影响未来AI开发的安全性和隐私性。
排序理由 学术论文,详细介绍了LLM训练中一种新颖的安全漏洞。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →