intermolecular force

使用稀疏自编码器分析化学语言模型的内部表征

一篇新研究论文通过将稀疏自编码器（SAE）应用于MolFormer，探讨了化学语言模型（cLMs）的内部工作机制。研究表明，模型的早期层关注句法模式和位置跟踪，而后期层则捕获更多有意义的语义信息，包括药理学相关特征。研究还发现，非规范SMILES字符串比无效SMILES字符串对模型表征的干扰更大，这凸显了输入格式的重要性。为了便于进一步研究，作者开发了InterMol，一个用于可视化SAE激活的交互式工具。