LLM 基准分数因“饱和悖论”在生产中失效

由于“基准饱和悖论”，静态学术基准在评估企业 LLM 方面的效果越来越差。在该悖论中，在 MMLU 和 SWE-bench 等排行榜上得分很高的模型在实际生产任务中的表现却很差。这种差异源于数据污染、干净的基准提示与混乱的用户输入之间的差异，以及基准的静态性质与生产环境中所需的状态化执行之间的差异。为确保可靠性，工程团队应实施持续生产评估 (CPE) 管道，使用实际用户数据，而不是仅仅依赖公共基准。 AI

影响 强调了需要新的评估方法来弥合 LLM 实验室性能与现实世界企业应用可靠性之间的差距。

排序理由 该项目讨论了一个概念悖论，并为 LLM 提出了一种新的评估方法，符合研究类别。[lever_c_demoted from research: ic=1 ai=1.0]

在 Towards AI 阅读 →

• Continuous Production Evaluation
• GSM8K
• Massive Multitask Language Understanding
• Maya Chen
• SWE-bench
• The Benchmark Saturation Paradox

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →