Ling3-tiny

KV缓存混合技术将LLM预填充速度提升3倍

Reddit的r/LocalLLaMA子版块的一位用户分享了一种名为KV缓存混合的技术，该技术显著加快了大型语言模型的提示处理速度。该方法包括将提示分成更小的块，为每个块生成单独的KV缓存，然后将它们连接起来。用户报告预填充速度提高了3倍，在256k token的上下文长度下实现了约每秒1.3k token的速度，同时即使在分割的提示部分之间也能保持完整的检索能力。