DSCache

新的 HERMES 和 DSCache 方法通过 KV 缓存改进流式视频理解

研究人员开发了新的方法来提高多模态大型语言模型 (MLLM) 理解流式视频的效率。一种方法 HERMES 将 KV 缓存概念化为一个分层内存系统，从而以更少的内存使用量实现更快的处理和更高的准确性。另一种方法 DSCache 将过去和现在的 KV 缓存解耦，并使用位置无关编码来处理无界流，并泛化到比模型训练时更长的序列。