MAB planner

Nightjar框架通过自适应推测解码优化LLM服务

研究人员开发了Nightjar，一个旨在通过动态自适应推测解码来优化大型语言模型（LLM）服务的创新框架。该方法解决了推测解码固有的权衡问题，在计算密集型环境中可能导致性能下降。Nightjar根据工作负载动态调整推测长度，并在推测不再有利时主动禁用推测，将草稿模型卸载到CPU，从而释放GPU内存以支持更大的批处理大小。实验表明，Nightjar可以显著提高实时LLM服务场景下的吞吐量并降低延迟。