RelDiff

研究：合成数据的关系属性影响模型学习

研究人员调查了合成关系数据如何影响机器学习模型的行为，特别是关注模型是否学会利用关系结构。他们的研究使用了四个在不同生成器数据上训练的 Relational Transformer 检查点，以追踪特定的数据属性到学习到的计算和下游性能。研究结果表明，当跨表信息对于预训练目标具有预测必要性时，关系机制就会出现，其中一个生成器 RelDiff 对外键链接表现出独特的敏感性，这转化为在关系任务上的卓越性能。