BinJudge

新基准使用 LLM 评估二进制逆向工程

研究人员推出 BinJudgeBench，一个用于评估面向人类的二进制逆向工程 (HOBRE) 任务的新基准。该基准采用 LLM 作为裁判的方法，与人类判断的相关性达到 63.20%，显著优于传统的自动化指标。为了进一步优化此过程，他们开发了 BinJudge，一个采用路由机制的系统，可以自适应地为特定任务和样本选择最佳 LLM 裁判配置，从而提高准确性并降低成本。