Membership inference attack
PulseAugur coverage of Membership inference attack — every cluster mentioning Membership inference attack across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新方法推断大型语言模型中的实体级训练数据
研究人员提出了一种用于大型语言模型（LLM）的实体级成员推断的新方法。该方法旨在确定关于特定现实世界实体的信息（而不仅仅是单个数据样本）是否包含在LLM的训练数据中。提出的策略包括使用有限的实体线索来构建提示、引发响应，然后根据生成文本中的语义特征推断成员身份。实验表明，这些方法可以实现高精度，显著优于改编的基线方法。
-
新研究探讨大型语言模型推断、隐私和代码风格计量
近期研究探索了大型语言模型（LLMs）的内部工作机制和安全性。一项研究调查了LLMs如何形成类似于人类海马体的抽象表征以支持推断，发现LLMs的更高层级表现出与抽象上下文几何相关的几何结构。另一系列论文则关注隐私和安全，提出实体级成员推断的方法来检测特定实体的信息是否被用于LLM训练，并探讨了LLMs如何被用来模糊代码风格计量，使作者归属更具挑战性。
-
新框架审计合成AI数据以披露隐私信息
研究人员开发了一个新的框架来审计由AI模型生成的合成数据，旨在检测和解释训练数据中的私有信息可能泄露的实例。该方法区分了用户数据的直接复制和类似数据的偶然生成，并使用统计检验与差分隐私等隐私基准进行比较。这种方法不依赖于特定模型，不需要访问模型本身，并且计算量比以前的方法更少。
-
新研究揭示生成模型如何保留训练数据信号
研究人员发现了一种方法，可以在生成模型中检测到训练数据的细微痕迹，即使数据没有被直接复制。通过分析 Rectified Flows 中的插值路径，他们发现在训练数据和测试数据重建之间存在一个明显的差距，该差距遵循可预测的钟形曲线。即使在验证指标波动时，这种信号也保持稳定，可以被利用来进行成员推断攻击，区分训练数据和未见过的数据。
-
AI安全研究论文呼吁增加防御激励
arXiv上最近发表的一篇论文强调了AI安全研究中存在的显著不平衡，即对攻击方法的研究远超对防御策略的研究。研究表明，攻击性论文通常在夸大威胁严重性的条件下进行评估，而防御性研究则面临更严格的审查。这种差异导致该领域充斥着漏洞披露，但缺乏实用、可部署的保护措施，因此作者呼吁增加对防御性研究的激励。
-
大型语言模型隐私研究揭示了不同攻击方式下与上下文相关的风险
一项新近发表在arXiv上的研究，调查了大型语言模型（LLMs）在交互式和检索增强系统中使用时所带来的隐私风险。该研究引入了一个统一的威胁模型，并进行了一项消融研究，以评估模型架构、规模和数据集特征等因素对各种隐私攻击的影响。研究结果表明，成员推断攻击通常是可靠的，而基于触发器的后门攻击因其性质而始终成功。属性推断和数据提取攻击虽然准确性较低，但通过针对敏感个人信息而构成重大风险。