MM-ISTS

新的MM-ISTS框架使用多模态大语言模型进行不规则时间序列预测

研究人员开发了MM-ISTS，一个旨在改进不规则采样时间序列数据预测的新框架。该方法集成了多模态视觉-文本大语言模型（MLLMs），以捕捉比传统方法更丰富的上下文语义和时间模式。该框架包括一个两阶段编码机制、一个跨模态视觉-文本编码器和一个自适应查询式特征提取器，以在保留知识的同时管理计算成本。在真实世界数据上的实验表明，MM-ISTS在处理异步观测和多样化变量方面非常有效。