Job 4817

批处理作业因重试逻辑缺陷在免费AI端点上暴露错误

一位开发者遇到了一个关键错误，即一个批处理作业在迁移到免费AI模型端点后，由于有缺陷的重试机制执行了两次。问题源于重试循环为每次尝试生成一个新的幂等性键，导致相同的逻辑操作被执行多次。这个bug之前被原始模型端点较快的延迟所掩盖，但在免费端点更高且更不稳定的延迟下暴露出来，导致重复数据录入和客户混淆。作者强调了测量延迟分布（而不仅仅是平均值）以及确保重试逻辑中的幂等性以防止此类问题的重要性。