Ligong Han

新的SNLP框架加速Transformer推理速度

研究人员开发了一个名为结构化牛顿层并行（SNLP）的新框架，以加速自回归语言模型的推理速度。SNLP通过将隐藏状态轨迹视为一个可解的非线性残差方程，并采用并行牛顿风格的更新来解决Transformer层顺序执行的问题。通过使用架构引起的替代动力学而非精确雅可比矩阵，SNLP可以在不损害困惑度的情况下实现显著的加速，在0.5B模型上最高可达2.58倍。该方法在保持下游任务准确性方面也显示出潜力，并且可以与自推测解码等技术集成。