研究人员开发了LLMODE,一个旨在利用大型语言模型(LLM)改进时空预测的新型框架。该方法解决了现有方法在处理不规则采样数据和有限上下文窗口等方面的局限性。LLMODE采用图感知ODE编码器将不规则观测转换为连续时间潜在轨迹,然后通过Perceiver Resampler将其压缩为动态内存令牌。这些令牌与统计描述符一起,通过门控交叉注意力模块注入到冻结的LLM中,使模型能够有效地利用外部时空证据。在城市和物理动力学数据集上的实验表明,该方法具有竞争力的性能和强大的零样本泛化能力。 AI
影响 增强了LLM在复杂预测任务中的能力,可能改进城市规划和科学建模中的应用。
排序理由 该条目描述了一个新颖的研究框架及其在arXiv上发表的实验评估。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- DagsHub
- Graph-aware ODE encoder
- Hugging Face
- large-language models
- LLMODE
- Ordinary Differential Equations
- Perceiver Resampler
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →