研究人员推出了一项名为MMTA的新基准测试,旨在评估多模态大语言模型(MLLMs)整合时间序列数据与文本和视觉信息的能力。该基准测试涵盖了九个不同的领域,并包含分类和预测任务。对八个MLLMs的初步评估显示,将时间序列表示为文本存在瓶颈,这会导致过长的token序列并削弱与视觉证据的对齐。为解决此问题,研究团队开发了TimeOmni-v,一个扩展的多模态LLM,它配备了专用的时间序列编码器和改进的时间对齐功能,在MMTA任务上表现出更高的效率和性能。 AI
影响 该基准测试和模型扩展有望改善AI系统跨多种模态理解和处理复杂、时间相关数据的方式。
排序理由 该集群描述了一个用于多模态时间分析的新基准测试和提出的模型扩展,详细介绍在一篇arXiv论文中。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →