PFlash

PFlash 在 128K 上下文下提供 10 倍更快的 LLM 预填充速度

一个名为 PFlash 的新开源项目已被开发出来，旨在显著加快在本地运行的大型语言模型的预填充过程。这种优化至关重要，因为第一个 token 出现之前的初始延迟通常比生成速度本身更令人头疼。PFlash 声称，即使在处理 128,000 个 token 的上下文窗口时，其预填充操作的速度也比 llama.cpp 快 10 倍。