实体
Mixtral 8x7B-Instruct
Mixtral 8x7B-Instruct
PulseAugur coverage of Mixtral 8x7B-Instruct — every cluster mentioning Mixtral 8x7B-Instruct across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新研究探索用于效率的先进大模型量化技术
几篇新研究论文探索了用于量化大语言模型（LLM）以提高部署效率的先进技术。REAL-Q 引入了一种动态梯度下降方法，以最小化端到端 KL 散度，在 LLaMA-3.1 和 Qwen3 上显示出显著的改进。HBQ 提出了一种具有有效数字缩放的分层方法，以最大化硬件效率和准确性，优于现有方法。Q-Strata 专注于混合精度量化，用于专家混合模型，优化专家之间的比特分配。另一篇论文研究了量化损伤的结构，表明全局比特分配通常优于局部修复，而…
-
轻量级微调剪枝MoE模型，减小尺寸和延迟
研究人员开发了一种使用轻量级微调技术剪枝混合专家（MoE）模型中专家的方法。通过应用LoRA等参数高效适配器，他们可以根据路由器敏感度识别并移除不太关键的专家，从而在不显著降低准确性的情况下显著减小模型尺寸和延迟。该方法在Mixtral-8x7B-Instruct和Qwen1.5-MoE等模型上被证明是有效的，即使移除了一半的专家也能保持具有竞争力的性能。
-
Mixtral MoE 在有害提示下的路由安全性分析
研究人员分析了 Mixtral 8x7B-Instruct 模型在接收良性和有害提示时的路由行为。他们利用基于激活和基于梯度的信号来理解模型如何选择专家来处理不同类型的输入。研究发现，虽然大多数专家在良性和有害提示之间共享，但一小部分专家表现出明显的偏好。抑制这些偏好专家的干预措施减少了有害响应，表明与安全相关的路由是微妙的，并且分布在各个层中。