Verus-SpecBench

尽管Gemini 3.1 Pro取得成功，AI代理在代码规范自动形式化方面仍面临挑战

研究人员推出了Verus-SpecGym，这是一个代理环境和基准测试，旨在评估AI模型将非正式编程问题转化为正式规范的能力。该系统将生成的规范与官方测试用例和对抗性示例进行比对，解决了确保正式规范准确反映用户意图的挑战。尽管像Gemini 3.1 Pro这样的前沿模型取得了令人鼓舞的结果，准确率高达77.8%，但该过程仍然脆弱，表明规范自动形式化是经过验证的代码生成的独特瓶颈。