arxiv:2609.04198v1

研究发现 LLM 基准测试未能通过可靠性测试

一项新研究揭示了当前基于 LLM 的评估基准测试存在严重不可靠性，即使在使用相同的输入和零温度设置的情况下也是如此。研究人员发现，通过 OpenAI 和 Anthropic 的共享端点重新运行相同的代理输出，经常会产生不同的判断，一致性率低至 89%。这种不稳定性破坏了大多数已发布的 AI 代理排行榜的可信度，因为底层的 LLM 裁判容易受到 API 提供商的静默、未版本化更新的影响。