Week 2: Side Hustle

AI 代理测试必须是确定性的，而不是供应商依赖的

作者提倡一种健壮的 AI 代理测试和评分方法，强调需要确定性和可重现的结果。他们提出一个系统，在该系统中代理运行被记录一次并在离线评分，使用哈希提示和提交的 JSON 磁带以确保一致性。这种方法旨在防止因模型可变性、速率限制和不稳定的测试环境而引起的问题，确保评估衡量的是代理设计而不是运气或供应商特定的性能。作者还详细介绍了实际的实施步骤，包括设置 Python 环境和构建用于仅重放评分和固定装置固定的代码。