Woomin Song

New STAND technique slashes LLM reasoning latency by 65%

研究人员开发了 STAND（STochastic Adaptive N-gram Drafting），一种新的无模型推测解码技术，旨在加速语言模型推理。该方法利用推理轨迹中的冗余来更有效地预测 token，而无需单独的草稿模型。STAND 在各种推理任务和模型上已证明可将推理延迟减少 60-65%，同时保持准确性并优于现有的推测解码方法。