openai/evals

AI买家被敦促在供应商合同中要求“评估条款”

在评估AI供应商时，要求合同中包含“评估条款”至关重要，以确保产品性能超越预演的演示。评估由一组固定的真实世界输入和预期输出来构成，为系统性能提供可量化的衡量标准。OpenAI已为此目的开源了一个框架，而严肃的AI组织也采用了类似的工具来跟踪性能趋势，并在部署前防止静默回归。在合同中包含对评估集大小、通过阈值和重新运行协议的具体要求，对于买家降低AI采购风险至关重要。