KV-Cache Transfer

KV-PRM论文提出高效的多智能体LLM奖励建模方法

研究人员提出了一种名为KV-PRM的新方法，用于提高多智能体系统中使用的过程奖励模型（PRM）的效率。与现有的重新编码整个轨迹的基于文本的PRM不同，KV-PRM直接利用LLM推理过程中生成的KV缓存。这种方法将计算成本从O(L^2)显著降低到O(L)，使其更适合长上下文场景。在MATH、GSM8K和AIME等基准测试上的实证结果表明，KV-PRM在性能上能媲美或超越文本-PRM，同时在FLOPs、延迟和内存占用方面提供了显著的降低。