Mixtral 8x7B-Instruct

Mixtral MoE 在有害提示下的路由安全性分析

研究人员分析了 Mixtral 8x7B-Instruct 模型在接收良性和有害提示时的路由行为。他们利用基于激活和基于梯度的信号来理解模型如何选择专家来处理不同类型的输入。研究发现，虽然大多数专家在良性和有害提示之间共享，但一小部分专家表现出明显的偏好。抑制这些偏好专家的干预措施减少了有害响应，表明与安全相关的路由是微妙的，并且分布在各个层中。