TokenTiming

TokenTiming: 一种用于通用推测解码模型对的动态对齐方法

研究人员开发了一种名为TokenTiming的新方法，该方法借鉴了动态时间规整（Dynamic Time Warping）的思想，以提高大型语言模型中推测解码的效率。该技术允许使用词汇表不匹配的草稿模型和目标模型，无需重新训练。实验表明，TokenTiming可以将LLM推理速度提高1.57倍，使推测解码成为一个更实用的工具。