Chunked RoPE

InferScale系统通过GPU原生KV注入优化LLM服务

研究人员开发了InferScale，一个新颖的GPU原生系统，旨在提高利用个性化上下文的大型语言模型（LLM）的服务效率。InferScale用可重用的KV状态替换重复的提示预填充，将内存事实的预计算KV表示直接存储在GPU上。这种方法在检索到的上下文大小增加时显著减少了首次令牌时间（TTFT），提供了显著的性能提升并保持了准确性。