History-Aware Routing

新的 HeRo 框架通过历史感知路由增强 LLM 推理

研究人员推出了一种用于大型语言模型 (LLM) 动态层路由的新型框架 HeRo，该框架包含一个记忆机制。这种历史感知路由方法在模型的深度上维护一个显式的路由状态，聚合了之前的路由分数和残差更新。在 Llama 3.1-8B、Llama 2-7B 和 Llama 2-13B 模型上的实验表明，HeRo 在性能保持方面始终优于其他基线，同时通过绕过大量模型参数显著降低了计算成本。