weekly-plan-01

LLM 评估基线捕获智能体行为中的静默退化

本文介绍了一种评估大型语言模型 (LLM) 智能体行为的基线方法，特别解决了静默退化问题，即性能会随着时间推移而悄然下降，但不会导致显式测试失败。所提出的方法包括将接受的“良好”结果存储为基线，通常以 JSON 文件形式存储，并将后续的评估运行与这些基线进行比较。这使得即使整体测试仍然通过，也能检测到分数、评分标准检查和反馈等指标的回归。作者详细介绍了如何通过将当前结果保存在与基线分开的目录中来实现这一点，基线是经过版本控制的。