TRL-Bench

新基准标准化表格编码器评估

研究人员推出了TRL-Bench，一个旨在标准化不同训练范式下表格编码器评估的新基准。该基准通过导出行、列或表嵌入并使用共享的轻量级头部进行探测，从而能够直接比较模型。评估分为三个套件：TRL-CTbench用于列/表嵌入，TRL-Rbench用于行嵌入，TRL-DLTE用于组合式Data-Lake表丰富。初步结果表明，编码器质量是特定于能力的，通用文本编码器在具有强文本信号的任务上表现良好，而表格专家在预训练与任务一致时表现出色。