KV-Cache Transfer

KV-PRM模型将LLM多智能体评分成本降低5000倍

研究人员开发了KV-PRM，一种新颖的过程奖励模型，旨在提高基于大型语言模型（LLM）的多智能体系统的效率。与先前重新编码整个轨迹的基于文本的模型不同，KV-PRM直接利用LLM推理过程中生成的KV缓存。这种方法将计算成本相对于序列长度从二次方显著降低到线性，使其更适合长上下文场景。在MATH和GSM8K等基准测试上的实证结果表明，KV-PRM在性能上与基于文本的模型相当或超越，同时在FLOPs、延迟和内存占用方面提供了显著的降低。