Pranava Sai Maganti

新的 MLIRBench 基准测试 LLM 对编译器 IR 的推理能力

研究人员推出了 MLIRBench，这是一个旨在评估大型语言模型（LLM）对多级中间表示（MLIR）程序理解和推理能力的新基准测试。该基准测试包含 1,768 对经过验证的程序，使用多智能体管道生成，并分为 EQUIV、DIVERGE 或 ERROR 三类。在评估中，Gemini 3.1 Pro 在硬标签上的准确率最高，达到 92.65%，但其聚合和行为分数表明在预测详细执行语义方面存在差距，突显了改进 LLM 对编译器中间表示的推理能力的需求。