实体
Qwen1.5-MoE
Qwen1.5-MoE
PulseAugur coverage of Qwen1.5-MoE — every cluster mentioning Qwen1.5-MoE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的 EPnG 框架提升了 MoE 模型微调的效率
研究人员开发了 EPnG，一种用于参数高效微调专家混合（MoE）模型的新框架。该方法通过剪枝利用率低的专家并增长高重要性的专家，在路由器门概率的指导下，自适应地重新分配微调容量。与 OLMoE 和 Qwen1.5-MoE 等 MoE 架构上的标准 LoRA 方法相比，EPnG 表现出更优越的性能，在更新显著更少比例的参数的同时，取得了与完全微调相当的结果。
-
JetBrains 发布高效 Mellum2 MoE 模型；研究推动 MoE 技术进步
JetBrains 发布了 Mellum2，一个开源的 120 亿参数专家混合（MoE）模型，针对文本和代码任务的高效推理进行了优化。该模型每个 token 只激活其参数的一小部分，从而实现更快、更低延迟的操作，适用于大型 AI 系统中的路由、RAG 管道和子代理任务。多篇研究论文还探讨了 MoE 架构的进展，包括 CRAFT 等高效服务技术、DAG-MoE 等新颖聚合方法、Kappa-SwiGLU 的自适应门控以及 ProbMoE …
-
新方法提升LLM量化效率与准确性
研究人员开发了多种新方法来提高大型语言模型（LLM）量化的效率和准确性。这些技术旨在减少LLM的内存占用和计算成本，使其更容易部署在资源受限的设备上。创新包括混合专家（MoE）模型的无校准比特分配、利用量化漏洞的异常值注入以及硬件友好的混合精度量化框架。