Membership inference attack
PulseAugur coverage of Membership inference attack — every cluster mentioning Membership inference attack across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
差分隐私在合成文本发布中未能保护弱势子群
对差分隐私合成文本发布的新审计显示，虽然差分隐私（DP）能有效减少平均成员推断泄露，但它对某些记录的保护程度不成比例。该研究定义了一个子群目标成员推断博弈来量化这种风险，表明合成发布仍然可能泄露子群成员身份。研究还强调，泄露信息的具体记录取决于所使用的发布机制，而不仅仅是记录本身。
-
新的联邦学习框架增强了敏感数据的隐私和鲁棒性
研究人员开发了一个新的联邦学习框架 DP-BR-FedAvg，旨在增强银行和医疗保健等行业的跨机构模型训练的安全性与隐私性。该框架集成了使用高斯机制的差分隐私层和拜占庭鲁棒聚合规则，特别是坐标修剪平均值。在涉及二十个客户端、六十轮的模拟中，其中四分之一提交了对抗性更新，DP-BR-FedAvg 在性能上优于标准 FedAvg，在限制隐私损失的同时恢复了更多信号。研究还强调了隐私和鲁棒性机制之间复杂的相互作用，表明为受监管的对抗性环境设…
-
新的LAR方法改进了AI文本检测和成员推断
研究人员开发了一种名为似然数组回归（LAR）的新方法，以改进对AI生成文本的检测，并识别特定文本是否被用于训练语言模型。LAR评估各种上下文窗口下的令牌概率，并将这些特征组织成数组，以捕捉检测信息如何随上下文尺度和位置变化。这种方法显著优于现有的基于似然的方法，其中LAR-2通过结合二阶特征进一步增强了成员推断。
-
新的数据投毒方法增强了VLM审计
研究人员开发了MemCatalyst，一种旨在提高视觉语言模型（VLM）数据审计有效性的新型数据投毒技术。该方法采用两种策略：投毒文本（PT）和投毒图像（PI），使VLM更容易受到成员推理攻击。通过迫使模型过度学习图像和文本数据之间的不一致性，MemCatalyst在少量投毒样本的情况下显著提高了审计性能，同时对模型的整体能力影响最小。该方法的有效性已在不同的VLM架构和黑盒设置中得到证明。
-
新方法推断大型语言模型中的实体级训练数据
研究人员提出了一种用于大型语言模型（LLM）的实体级成员推断的新方法。该方法旨在确定关于特定现实世界实体的信息（而不仅仅是单个数据样本）是否包含在LLM的训练数据中。提出的策略包括使用有限的实体线索来构建提示、引发响应，然后根据生成文本中的语义特征推断成员身份。实验表明，这些方法可以实现高精度，显著优于改编的基线方法。
-
新研究探讨大型语言模型推断、隐私和代码风格计量
近期研究探索了大型语言模型（LLMs）的内部工作机制和安全性。一项研究调查了LLMs如何形成类似于人类海马体的抽象表征以支持推断，发现LLMs的更高层级表现出与抽象上下文几何相关的几何结构。另一系列论文则关注隐私和安全，提出实体级成员推断的方法来检测特定实体的信息是否被用于LLM训练，并探讨了LLMs如何被用来模糊代码风格计量，使作者归属更具挑战性。
-
新框架审计合成AI数据以披露隐私信息
研究人员开发了一个新的框架来审计由AI模型生成的合成数据，旨在检测和解释训练数据中的私有信息可能泄露的实例。该方法区分了用户数据的直接复制和类似数据的偶然生成，并使用统计检验与差分隐私等隐私基准进行比较。这种方法不依赖于特定模型，不需要访问模型本身，并且计算量比以前的方法更少。
-
新研究揭示生成模型如何保留训练数据信号
研究人员发现了一种方法，可以在生成模型中检测到训练数据的细微痕迹，即使数据没有被直接复制。通过分析 Rectified Flows 中的插值路径，他们发现在训练数据和测试数据重建之间存在一个明显的差距，该差距遵循可预测的钟形曲线。即使在验证指标波动时，这种信号也保持稳定，可以被利用来进行成员推断攻击，区分训练数据和未见过的数据。
-
AI安全研究论文呼吁增加防御激励
arXiv上最近发表的一篇论文强调了AI安全研究中存在的显著不平衡，即对攻击方法的研究远超对防御策略的研究。研究表明，攻击性论文通常在夸大威胁严重性的条件下进行评估，而防御性研究则面临更严格的审查。这种差异导致该领域充斥着漏洞披露，但缺乏实用、可部署的保护措施，因此作者呼吁增加对防御性研究的激励。
-
大型语言模型隐私研究揭示了不同攻击方式下与上下文相关的风险
一项新近发表在arXiv上的研究，调查了大型语言模型（LLMs）在交互式和检索增强系统中使用时所带来的隐私风险。该研究引入了一个统一的威胁模型，并进行了一项消融研究，以评估模型架构、规模和数据集特征等因素对各种隐私攻击的影响。研究结果表明，成员推断攻击通常是可靠的，而基于触发器的后门攻击因其性质而始终成功。属性推断和数据提取攻击虽然准确性较低，但通过针对敏感个人信息而构成重大风险。