ChemPile

新模型CheMatE统一化学结构和自然语言

研究人员开发了CheMatE，这是一种新的嵌入模型，旨在统一空间中联合表示化学结构（SMILES）和自然语言。CheMatE基于ModernBERT骨干构建，采用两阶段训练过程：在大量科学文档语料库上继续进行掩码语言建模，随后与算法生成的SMILES-文本对进行对比学习。这种方法旨在防止对化学语法过度拟合，并保留基础语义能力，在分子性质预测和科学语言理解任务中展现出稳健且可迁移的表示。