EntropyMoE

新的EntropyMoE架构通过稀疏专家路由优化了无分词器的LLM

研究人员推出了一种新颖的混合专家（MoE）架构EntropyMoE，专为处理动态字节块的无分词器大型语言模型设计。与对所有块应用统一计算的现有模型不同，EntropyMoE根据其熵将块路由到特定的专家，从而实现自适应容量分配。该方法旨在通过根据字节块内的语义和粒度变化定制计算来提高效率和性能。实验表明，与密集和稀疏基线相比，EntropyMoE在持出每字节比特数方面取得了卓越的性能，同时保持了可比的下游准确性。