实体
Mixtral 8x7B-Instruct
Mixtral 8x7B-Instruct
PulseAugur coverage of Mixtral 8x7B-Instruct — every cluster mentioning Mixtral 8x7B-Instruct across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
轻量级微调剪枝MoE模型，减小尺寸和延迟
研究人员开发了一种使用轻量级微调技术剪枝混合专家（MoE）模型中专家的方法。通过应用LoRA等参数高效适配器，他们可以根据路由器敏感度识别并移除不太关键的专家，从而在不显著降低准确性的情况下显著减小模型尺寸和延迟。该方法在Mixtral-8x7B-Instruct和Qwen1.5-MoE等模型上被证明是有效的，即使移除了一半的专家也能保持具有竞争力的性能。
-
Mixtral MoE 在有害提示下的路由安全性分析
研究人员分析了 Mixtral 8x7B-Instruct 模型在接收良性和有害提示时的路由行为。他们利用基于激活和基于梯度的信号来理解模型如何选择专家来处理不同类型的输入。研究发现，虽然大多数专家在良性和有害提示之间共享，但一小部分专家表现出明显的偏好。抑制这些偏好专家的干预措施减少了有害响应，表明与安全相关的路由是微妙的，并且分布在各个层中。