PertReasonLM

新基准PertReason评估AI在科学领域的力学推理能力

研究人员推出了PertReason，这是一个新的基准和框架，旨在评估机器学习模型在科学领域执行力学推理的能力，特别是关于细胞状态条件扰动效应。该基准旨在识别预测准确性与真实力学理解之间的差距，因为当前模型通常通过错误的逻辑得出正确答案，或忽略关键的上下文信息。为了解决这些已识别的故障模式，该团队还开发了PertReasonLM，这是一个大型语言模型，经过训练以将结果预测与特定上下文的力学推理对齐，为改进复杂科学系统中忠实的推理提供了一个诊断工具。