Masked language modelling

新研究质疑JEPA在电子健康记录表示学习中的有效性

一篇新的研究论文探讨了联合嵌入预测架构（JEPAs）在从纵向电子健康记录（EHRs）中学习表示的有效性。尽管训练稳定，但研究中调查的JEPA模型在MIMIC-IV数据集上的表现始终不如标准的掩码语言模型（MLM）。研究结果表明，虽然可以实现潜在空间的预测，但这不足以在电子健康记录表示学习方面取得有竞争力的结果，凸显了定义临床相关潜在目标所面临的挑战。