RouteSparse

RouteSparse 优化 LLM 长上下文预填充的动态模式路由

研究人员开发了 RouteSparse，一种用于优化大型语言模型长上下文预填充的新颖方法。该技术允许每个注意力头根据输入提示动态地从 GPU 高效稀疏模式库中进行选择，从而在不改变模型权重的情况下提高效率。RouteSparse 在预填充任务中展示了显著的加速效果，与密集注意力相比，在 Llama 3.1-8B-Instruct 和 128K token 提示下处理速度提高了 6.5 倍，同时保持了性能的微小下降。