Hayden Moore

大型语言模型自动形式化在释义输入方面存在困难

研究人员调查了大型语言模型（LLMs）在自动形式化任务中的鲁棒性，特别是它们从自然语言陈述生成形式化证明的能力。研究发现，当面对语义相似的释义输入时，LLMs 的性能表现出可变性，这表明自然语言的微小改动会显著影响生成的形式化输出。该研究使用了 MiniF2F 和 Lean 4 ProofNet 基准来评估两个现代 LLMs，并测量了生成证明的语义和编译有效性。