routing-layer bits

新的Groundhog Bit-Flip攻击利用MoE LLM，导致大规模输出膨胀

研究人员开发了一种名为Groundhog Bit-Flip Attack (GBFA)的新攻击方法，该方法针对混合专家（MoE）大型语言模型。该攻击利用了MoE架构中的路由机制，其中特定专家可以与特定token相关联。通过操纵路由层比特，GBFA可以导致模型输出长度显著膨胀，在对话、推理和代理任务中，解码token使用量平均增加了5912%。该攻击仅需禁用少量专家即可实现，凸显了MoE设计中的鲁棒性漏洞。