LimiX-2M

新模型和方法提升表格基础模型效率

研究人员正在开发新的表格基础模型（TFMs），以提高效率和性能。TabSwift通过行级注意力和可学习令牌增强了TabPFN架构，实现了具有竞争力的准确性和更快的推理速度。LimiX-2M是一个较小的模型，通过解决注意力瓶颈和使用新颖的令牌化框架，也优于较大的基线模型。此外，研究人员正致力于通过社区驱动的“速通”来加速TFM预训练，并压缩数据集以实现更快的推理和减少内存使用。