Identity-Blinded Reasoning Diagnostic

新的诊断测试LLM的化学推理能力，超越记忆

研究人员开发了一个名为“身份盲推理诊断”的新框架，用于评估大型语言模型（LLM）在化学预测任务中的真实推理能力。该框架隐藏了目标化学物质的身份，而是通过源实体和结构编辑操作来定义它。这种方法旨在防止模型依赖于记忆或与目标身份相关的上下文线索。在包括气味预测和逆合成在内的六项任务的实验中发现，虽然模型性能受到源-目标属性一致性的影响，但一些模型根据取代的源实体标签表现出系统性的预测偏移，这表明可能缺乏真正的结构-属性推理。