两篇新研究论文探讨了对 Mixture-of-Experts (MoE) 大型语言模型的增强。第一篇论文引入了 token-error supervision 来指导 MoE 路由,通过将路由亲和力与实际 token 错误对齐,提高了 Granite 和 ARC-Challenge 等基准的准确性。第二篇论文提出了用于非因子化扩散语言模型的 Enhanced Mixture-of-Experts (E-MoE),使用 MoE 路由在离散潜在空间中捕获跨位置相关性,而无需增加激活参数,从而提高了几步生成质量。 AI
影响 这些论文引入了提高 Mixture-of-Experts 模型效率和性能的新颖技术,有望带来更强大、更快的 LLM。
排序理由 两篇在 arXiv 上发表的学术论文,详细介绍了 Mixture-of-Experts 大型语言模型的新颖方法。
在 Hugging Face Daily Papers 阅读 →
- ARC challenge
- arXiv
- cross entropy
- Granite
- Hugging Face
- Itakura--Saito divergence
- large-language models
- LM1B
- Masked Diffusion Models
- mixture of experts
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →