PR #4412

如果 LLM 评估分数低于阈值，CI 构建将失败

本文讨论了一种将评估分数集成到持续集成 (CI) 管道中的方法，以确保模型质量。它建议使用特定的退出代码，类似于 pytest，以区分由于分数低导致的构建失败和由于基础设施问题导致的构建失败。作者建议将评估阈值存储在专门的配置文件中，与 CI YAML 或模型代码分开，以便更改可见且经过深思熟虑。该方法强调使用多个可释义的指标而不是单一分数，并包括最低案例计数以确保有足够的数据进行评估。