Z3 Theorem Prover

新的LGMT工具揭示了大型语言模型中显著的逻辑推理不一致性

一款名为LGMT的新型开源工具已被开发出来，用于测试大型语言模型（LLMs）的逻辑推理一致性。LGMT通过生成逻辑上等价的查询重述并检查LLM是否提供一致的答案来识别不一致之处。在对六个LLMs的测试中，LGMT揭示了20.84%至29.44%之间不一致的比例。该工具可在GitHub上获取，包含20个内置的变质关系，并支持由Z3定理证明器验证的自定义关系。