Relational Transformers

新的关系基础模型RT-J实现了上下文高效预测

研究人员开发了RT-J，一个拥有8600万参数的关系基础模型，专为表格和关系数据上的上下文高效预测而设计。与现有方法相比，该模型需要更少的示例即可实现准确预测。RT-J在来自639个网络爬取数据库的6,023个预测任务的大型数据集上进行了预训练，利用了长上下文和一种新颖的检索机制。在关系基准任务上，该模型在匹配强大的特征工程管道方面所需的示例数量减少了10倍。