Dynamic Context Adapters

新方法通过高效历史上下文增强视觉-语言模型

研究人员开发了动态上下文适配器（DCA），一种将历史信息高效集成到视觉-语言模型（VLM）中的新方法。当前的VLM在顺序任务中存在困难，因为它们独立处理视觉输入，导致时间理解能力受限。DCA通过使用固定大小、动态压缩的内存来保留历史语义，而不会增加计算复杂性或因时间压缩而丢失信息。该方法在注意力FLOPs和内存使用方面有显著降低，同时提高了长时任务的性能。