一篇新的研究论文探讨了分体式语言模型相关的隐私风险，在这种模型中，客户在服务器上训练模型，而无需发送其原始文本。研究表明，能够访问模型公开权重观察者可以从训练过程中交换的激活和梯度中重建客户文本的很大一部分。具体来说，在GPT-2上的实验表明，添加梯度将 token 恢复率从 94.20% 提高到 97.38%，将精确文档恢复率从 13.71% 提高到 37.77%。该研究主张在 token 和文档级别报告泄露情况，并将分体式模型中传输的数据视为高度敏感。 AI
影响 强调了分体式学习设置中的重大隐私风险，可能影响敏感数据在分布式人工智能训练中的处理方式。
排序理由 学术论文，详细介绍了关于模型隐私的新发现。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
