新模型CheMatE统一化学结构和自然语言

研究人员开发了CheMatE，这是一种新的嵌入模型，旨在统一空间中联合表示化学结构（SMILES）和自然语言。CheMatE基于ModernBERT骨干构建，采用两阶段训练过程：在大量科学文档语料库上继续进行掩码语言建模，随后与算法生成的SMILES-文本对进行对比学习。这种方法旨在防止对化学语法过度拟合，并保留基础语义能力，在分子性质预测和科学语言理解任务中展现出稳健且可迁移的表示。 AI

影响 该模型可以提高AI理解和处理化学信息的能力，有望加速药物发现和材料科学研究。

排序理由 该集群描述了一篇新的研究论文，其中详细介绍了一种用于化学结构和自然语言联合表示学习的新型模型。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• CheMatE
• ChemPile
• FineWeb
• Hugging Face
• ModernBERT
• natural language
• SMILES

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →