Union (min=1)

开发者证明单次LLM基准测试运行毫无意义

一位开发者在构建一个名为NexaVerify的多LLM安全审计工具时发现，单次基准测试运行不足以获得可靠的结果。对同一安全审计运行12次后，显示出显著的差异，其中一个LLM配置的F1分数在0.29到0.54之间剧烈波动。虽然像Llama这样单个表现良好的LLM比共识管道获得了更高的平均F1分数，但管道在稳定性、更广泛的漏洞覆盖范围和审计目的的可追溯性方面提供了关键优势。