Evaluation as Code

构建生产级 LLM 评估流水线：从感觉走向指标 · 跟踪 8 个来源

这一系列文章详细介绍了为大型语言模型（LLM）构建生产级评估流水线的过程，超越了主观的“感觉检查”，转而实施自动化指标。作者强调了领域特定裁判、CI/CD 集成的速度、回归检测以及健壮的黄金数据集管理的需求。他们提出了一种涉及测试用例、待测 LLM、裁判集合和用于回归检测的指标的架构，并提供了使用 GPT-4o mini 等模型构建自定义 LLM 裁判的示例。