Itakura--Saito divergence

新研究通过改进路由和扩散模型增强了混合专家LLM · 已追踪2个来源

两篇新研究论文探讨了对混合专家（MoE）大型语言模型的增强。第一篇论文引入了令牌错误监督来指导MoE路由，通过将路由亲和力与实际令牌错误对齐，提高了在Granite和ARC-Challenge等基准测试上的准确性。第二篇论文提出了用于非因子化扩散语言模型的增强混合专家（E-MoE），使用MoE路由在离散潜在空间中捕获跨位置相关性，而无需增加活动参数，从而提高了少步生成质量。