Yoel Zimmermann

研究发现：预训练化学语言模型未能教会化学知识

一篇新的arXiv论文研究了预训练化学语言模型（CLMs）是否能有效地教会它们化学知识。研究发现，预训练的收益不会随之扩展，性能在梯度提升基线以下饱和，一些预训练方法甚至导致性能比随机初始化的模型更差。虽然CLMs可以解析分子结构，但它们在这方面并不比随机模型做得更好，这表明它们主要学习描述符类属性和标记统计数据，而不是超越经典分子特征所能捕捉的深度化学理解。