K-Forcing

K-Forcing 通过一次解码多个 token 来加速 LLM 推理

研究人员推出了一种名为 K-Forcing 的新范式，通过同时解码多个 token 来加速语言模型推理。这种推前方法将现有的自回归模型提炼成一个映射，该映射可以在一次通过中生成 k 个 token。K-Forcing 旨在提高高负载批量服务场景的效率，这是大规模 LLM 部署的关键领域。初步评估显示，在质量影响适中的情况下，速度提高了 2.4-3.5 倍。