Context-Conditional Masked Modeling

LimiX-2模型通过因果意识提升结构化数据智能

研究人员推出LimiX-2，这是一种专为结构化数据智能设计的新型模型。该模型利用上下文机制网络（CMNs）范式，并使用上下文条件掩码建模（CCMM）进行预训练。与专注于预测的传统模型不同，CMNs旨在联合建模数据生成的上下文相关结构。LimiX-2在TabArena、TALENT和BCCO等基准测试中表现出色，优于现有的特定数据集和表格基础模型。此外，其特征注意力机制显示出恢复因果关系的能力，表明因果意识增强。