Qwen1.5-MoE
PulseAugur coverage of Qwen1.5-MoE — every cluster mentioning Qwen1.5-MoE across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
轻量级微调剪枝MoE模型，减小尺寸和延迟
研究人员开发了一种使用轻量级微调技术剪枝混合专家（MoE）模型中专家的方法。通过应用LoRA等参数高效适配器，他们可以根据路由器敏感度识别并移除不太关键的专家，从而在不显著降低准确性的情况下显著减小模型尺寸和延迟。该方法在Mixtral-8x7B-Instruct和Qwen1.5-MoE等模型上被证明是有效的，即使移除了一半的专家也能保持具有竞争力的性能。
-
新的 EPnG 框架提升了 MoE 模型微调的效率
研究人员开发了 EPnG，一种用于参数高效微调专家混合（MoE）模型的新框架。该方法通过剪枝利用率低的专家并增长高重要性的专家，在路由器门概率的指导下，自适应地重新分配微调容量。与 OLMoE 和 Qwen1.5-MoE 等 MoE 架构上的标准 LoRA 方法相比，EPnG 表现出更优越的性能，在更新显著更少比例的参数的同时，取得了与完全微调相当的结果。
-
JetBrains 发布高效 Mellum2 MoE 模型；研究推动 MoE 技术进步
JetBrains 发布了 Mellum2，一个开源的 120 亿参数专家混合（MoE）模型，针对文本和代码任务的高效推理进行了优化。该模型每个 token 只激活其参数的一小部分，从而实现更快、更低延迟的操作，适用于大型 AI 系统中的路由、RAG 管道和子代理任务。多篇研究论文还探讨了 MoE 架构的进展，包括 CRAFT 等高效服务技术、DAG-MoE 等新颖聚合方法、Kappa-SwiGLU 的自适应门控以及 ProbMoE …
-
新方法提升LLM量化效率与准确性
研究人员开发了多种新方法来提高大型语言模型（LLM）量化的效率和准确性。这些技术旨在减少LLM的内存占用和计算成本，使其更容易部署在资源受限的设备上。创新包括混合专家（MoE）模型的无校准比特分配、利用量化漏洞的异常值注入以及硬件友好的混合精度量化框架。