golden set

开发者通过黄金数据集和差距分析跟踪聊天机器人性能

一位开发者正在评估一个旨在回答有关牧草生长速度问题的聊天机器人，以服务于农村工人。该聊天机器人的性能通过一个包含68个问题的“黄金数据集”进行衡量，并由一个独立的代理审计答案，以发现缺失信息或知识差距。在9月14日的基线测试中，只有一项答案完全通过，35项被拒绝，并识别出205个差距。开发者假设修复将减少被拒绝的答案并提高数据准确性，但由于API积分耗尽，9月15日的后续审计被缩短，导致聊天机器人当前的性能未被测量。