研究人员开发了一种名为Groundhog Bit-Flip Attack (GBFA)的新攻击方法,该方法针对混合专家(MoE)大型语言模型。该攻击利用了MoE架构中的路由机制,其中特定专家可以与特定token相关联。通过操纵路由层比特,GBFA可以导致模型输出长度显著膨胀,在对话、推理和代理任务中,解码token使用量平均增加了5912%。该攻击仅需禁用少量专家即可实现,凸显了MoE设计中的鲁棒性漏洞。 AI
影响 揭示了MoE架构中的一个重大漏洞,可能影响大型语言模型的可靠性和安全性。
排序理由 研究论文,详细介绍了针对LLM的新攻击方法。[lever_c_demoted from research: ic=1 ai=1.0]
- agentic tasks
- conversational tasks
- experts
- Groundhog Bit-Flip Attack
- LLMs
- Mixture-of-Experts
- reasoning tasks
- routing-layer bits
- tokens
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →