Sample-Filter

新矩阵改进LLM自动形式化错误分析

研究人员引入了一个“信号覆盖矩阵”，以更好地评估大型语言模型（LLM）在自动形式化任务中的性能。该矩阵将错误分为类型正确性和语义等价性两类，超越了单一标量指标。在ProofNet#和MiniF2F-test上使用DeepSeek V4-Pro进行的实验表明，虽然总体真实成功率显著提高，但大部分增长来自于恢复类型级错误，而语义错误的改进较少，甚至出现新的错误。