Membership Inference Attacks
PulseAugur coverage of Membership Inference Attacks — every cluster mentioning Membership Inference Attacks across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新框架统一了生成模型间的成员推断攻击
研究人员开发了一个统一的成员推断攻击（MIA）框架，该框架可应用于包括文本到文本、文本到图像和图像到文本在内的各种生成模型模态。这种新方法克服了先前将每种模态孤立处理的局限性。该框架利用了生成模型的输出分布可以近似其训练数据分布的观察结果，从而通过在共享嵌入空间中进行似然比测试来实现成员推断。在黑盒设置下的广泛实验表明，与现有的单类优化方法相比，该框架表现出优越的性能。
-
新型人工智能网络攻击威胁患者隐私
一种名为成员推理攻击（MIAs）的新型网络攻击已被确定为对患者隐私的威胁。这些攻击专门针对医疗数据集中的个体，可能暴露敏感的个人健康信息。这种脆弱性凸显了在处理医疗数据的人工智能系统中加强安全措施的必要性。
-
新攻击揭示表格基础模型的隐私风险
研究人员发现了表格基础模型中存在的重大隐私漏洞，尤其是在其注意力层中。一种名为AMIA的新攻击利用Transformer的注意力模式，有效地执行成员推理攻击（MIA），与传统方法相比，成员泄露显著增加。为解决此问题，开发了一种受k-匿名性原则启发的全新防御机制，该机制通过针对高风险查询来减少泄露，同时不影响模型性能。研究还强调，微调这些模型会加剧隐私风险，因为它们会放大记忆并可能通过置信度变化暴露敏感信息。
-
新基准应对大型语言模型的隐私风险
研究人员开发了新的方法来评估针对大型语言模型（LLM）的成员推理攻击（MIA），特别关注音频和文本模态。第一项研究引入了一种系统性的评估方法，用于大型音频语言模型（LALM），使用“多模态盲基线”来控制分布偏移，揭示了记忆是跨模态的，并且与说话人的声音身份有关。第二篇论文CheckMIABench提出了一种基于中间训练检查点和公共数据进行LLM原则性MIA评估的框架，展示了其在Pythia和OLMo模型上的应用，并发布了一个模块化库以…
-
研究人员提出高斯差分隐私的 $\mu \approx \varepsilon/5$ 转换方法
研究人员发表了一篇论文，详细介绍了在纯差分隐私（$\varepsilon$）和高斯差分隐私（GDP，$\mu$）之间转换隐私参数的方法。该研究通过对三种指标下的最坏情况成员推理攻击成功率进行对齐，提出了原则性的映射。作者建议在机器学习中保守报告隐私时，通用转换方法为 $\mu \approx \varepsilon/5$。
-
研究表明反事实存在隐私风险
研究人员证明了用于阐明机器学习模型决策的反事实解释可能会被用于隐私攻击。通过改编为合成数据开发的方法，这些攻击可以在不直接访问模型的情况下推断出有关训练数据的敏感信息。研究结果表明，开发人员在发布反事实时必须更加谨慎，以防止潜在的隐私泄露。
-
贝叶斯采样提升AI模型隐私攻击效率
研究人员开发了一种名为贝叶斯成员推理攻击（BMIA）的新方法，可以更有效地检测特定数据点是否被用于模型的训练。该方法利用单个参考模型上的贝叶斯采样和拉普拉斯近似来估计条件得分分布，与需要多个参考模型的现有方法相比，降低了计算开销。实验表明，BMIA在各种数据类型上都达到了最先进的有效性和效率。
-
新研究改进了对人工智能模型隐私攻击的评估
研究人员正在开发新的框架和方法来评估成员推断攻击（MIA）的有效性和可靠性，这些攻击用于检测特定数据是否被用于训练机器学习模型。几篇近期论文提出了新颖的方法，包括一个考虑数据、架构和算法的完整流水线框架，以及从扩散模型的频域角度分析MIA的方法。其他研究则侧重于提高漏洞评估的效率和准确性，解决样本校准和有限总体偏差等问题，并开发无需昂贵重新训练即可评估每个样本漏洞的技术。
-
新的攻击方法侵犯了AI安全分类器的隐私
研究人员开发了一种新的方法来攻击生成式AI系统中使用的安全分类器的隐私。这些分类器在处理诸如自残讨论等敏感数据时被训练，容易受到成员推断攻击（MIA）。新技术针对分类器置信度较低的样本，揭示了模型可能会记住模糊的训练数据。该方法成功恢复了19%的用户痛苦对话，误报率为5%，显著优于现有的MIA方法。