Context-Window Encoding

InferScale系统通过可重用的KV状态优化LLM服务

研究人员开发了InferScale，一个新颖的GPU原生系统，旨在增强个性化大型语言模型（LLM）的服务。InferScale通过利用可重用的KV状态来解决内存系统中重复的提示预填充问题，从而在检索到的内存大小增加时减少首次令牌生成时间（TTFT）。该系统与vLLM集成，无需修改引擎或对模型进行微调，并在各种开源模型上展示了TTFT和吞吐量的显著改进。