shipping boxes

LLM考试设计优先考虑失败案例而非简单场景

一位LLM考试设计者分享了他们创建稳健测试的策略，强调有效的考试应侧重于边缘情况和潜在的故障点，而不是直接的场景。该设计者主张围绕最坏情况的意外事件构建测试，例如发送错误商品、重复发送商品或发送未订购的商品。该策略包括设置模糊查询、拼写错误以及具有近乎相似项的数据，以模拟现实世界的复杂性，并至关重要的是，测试LLM的学习能力可能如何无意中导致错误。