研究人员在专家混合(MoE)大语言模型中发现了一种名为“结构化记忆”的新漏洞。该漏洞使模型不仅能记住其训练数据,还能记住处理这些数据的特定内部路径,从而创建独特的路由指纹。攻击者可以通过分析无条件生成输出来利用这一特性,即使没有原始训练数据的访问权限,也能恢复被记住的专家路径。这些发现对于分布式部署(如联邦学习和边缘-云系统)尤其令人担忧,因为路由信息会在多个信任边界暴露。 AI
影响 这项研究突显了分布式大语言模型部署中潜在的安全风险,需要新的方法来检测受损模型。
排序理由 该集群包含一篇详细介绍大语言模型新漏洞的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- backdoor injection
- edge-cloud systems
- federated learning
- Membership inference attack
- mixture of experts
- router manipulation
- structural memorization
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →