Treat

新基准TREAT测试LLM识别数学定理的能力

研究人员推出了TREAT，这是一个新的基准，旨在评估大型语言模型在呈现等价但表示形式不同的公式时，识别数学定理的能力。该基准包含737个定理标识符和超过29,000个转换后的行，测试模型在条件通过残差方程、证明陈述或算子形式表达时，识别定理标准形式的能力。目前表现最佳的模型只能在约60.73%的情况下正确识别定理标识符，这表明AI系统可能在表示形式稳健性方面访问形式知识时遇到困难。