intent router

AI意图分类器准确率掩盖实际故障；工程师分享修复方法

一位工程师分享了评估支持代理意图分类器的警示故事，强调了看似高达92%的准确率如何掩盖了生产环境中的关键故障。问题源于使用了未能反映真实世界用户请求不均衡分布的平衡测试集，导致“取消订阅”或“欺诈报告”等罕见但重要的意图被错误分类。该工程师提出了一种解决方案，涉及两个不同的测试集：一个镜像生产流量，另一个对罕见意图进行过采样，以确保所有类别都得到充分测试和调试。