Rate-Controlled Refresh (RCR)

新的RCR方法优化多模态AI生成的KV缓存

研究人员开发了一种名为速率控制刷新（RCR）的新方法，以提高长格式多模态生成中KV缓存压缩的效率。传统方法在开始时只选择一次视觉标记，这在生成过程中模型的注意力会发生变化，因此不是最优的。RCR根据注意力漂移动态地重新选择标记，同时由控制器调节频率，在详细图像描述和视频描述任务中优于InfiniGen等现有方法。该方法通过显著减小GPU驻留检测器的大小和可比的数据移动来保持性能。