Continuous Production Evaluation

LLM 基准分数因“饱和悖论”在生产中失效

由于“基准饱和悖论”，静态学术基准在评估企业 LLM 方面的效果越来越差。在该悖论中，在 MMLU 和 SWE-bench 等排行榜上得分很高的模型在实际生产任务中的表现却很差。这种差异源于数据污染、干净的基准提示与混乱的用户输入之间的差异，以及基准的静态性质与生产环境中所需的状态化执行之间的差异。为确保可靠性，工程团队应实施持续生产评估 (CPE) 管道，使用实际用户数据，而不是仅仅依赖公共基准。