attention layers

新攻击揭示表格基础模型的隐私风险

研究人员发现了表格基础模型中存在的重大隐私漏洞，尤其是在其注意力层中。一种名为AMIA的新攻击利用Transformer的注意力模式，有效地执行成员推理攻击（MIA），与传统方法相比，成员泄露显著增加。为解决此问题，开发了一种受k-匿名性原则启发的全新防御机制，该机制通过针对高风险查询来减少泄露，同时不影响模型性能。研究还强调，微调这些模型会加剧隐私风险，因为它们会放大记忆并可能通过置信度变化暴露敏感信息。