研究人员开发了TOFU,一种新颖的、基于令牌的基础模型,专为多模态知识图谱推理(MMKGR)设计。该模型将结构化、视觉和文本数据离散化为特定模态的令牌,使其能够有效地泛化到不同的知识图谱。TOFU采用分层融合架构和消息混合机制来处理这些令牌并提取可迁移特征。在17个不同的MMKG上的实验表明,TOFU在现有知识图谱基础模型和MMKGR基线之上,尤其是在未见过的知识图谱上表现更优。 AI
影响 这项研究通过更好地整合多模态数据,有望提高人工智能系统在不同复杂知识图谱之间进行推理的能力。
排序理由 该集群包含一篇详细介绍新模型及其实验结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →