Razor

RAZOR方法在不牺牲推理能力的情况下精简大型语言模型专家

研究人员开发了RAZOR，一种在不显著降低推理能力的情况下精简混合专家（MoE）模型中专家的新方法。与以往关注专家频率或孤立贡献的方法不同，RAZOR通过衡量专家删除造成的损害来评估功能可替换性。这种无需训练的方法使用共识残差来计算删除专家所产生的确切输出变化，仅通过前向传播即可实现精简。RAZOR在多个大型语言模型和专家移除预算上均表现出卓越的性能，在以推理为中心的任务上优于现有方法。