LayerRoute

LayerRoute 适配器跳过 Transformer 层以节省计算

研究人员开发了 LayerRoute，一种用于 Transformer 模型的新型适配器，可以在推理过程中智能地跳过不必要的层。该方法使用轻量级路由器和 LoRA 适配器根据输入类型动态调整计算量，显著减少了工具调用等简单任务的 FLOPs，同时为复杂推理保留了深度。该方法在 Qwen2.5-0.5B 上进行了演示，以最少的训练参数实现了计算节省，甚至提高了模型质量。