研究人员开发了MoREGT,这是一种新颖的关系专家混合图变换器,旨在提高预测模型的跨数据库泛化能力。该架构将行和单元格表示为token,并将其行年龄和外键关系纳入其注意力机制。MoREGT根据列元数据而非值来路由单元格和行,并由一个LLM代理补充,该代理在不访问标签的情况下从数据库模式生成派生列。在21个RelBench任务上的评估中,MoREGT的平均AUROC更高,平均nMAE更低,显著优于标准的Relational Transformer,即使在预训练数据量大大减少的情况下也是如此。 AI
影响 这项研究可能带来更高效的跨不同关系数据库的迁移学习,减少对海量预训练数据集的需求。
排序理由 详细介绍新模型架构和基准测试结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →