whatbroke-cli

开发者分享20分钟LLM代理模型更换测试方法

一位开发者分享了一个20分钟的流程，用于测试LLM代理模型更换，以防止细微的行为回归。该方法包括在使用`whatbroke-cli`工具记录特定场景下代理的基线行为，然后在更换模型前后进行对比。差异分析会突出显示关键问题，如工具调用丢失或参数漂移，这些问题可以集成到CI管道中进行自动化检查。这种方法旨在捕捉那些仅通过审查代理回复可能忽略的问题，因为即使底层功能出现故障，代理回复通常看起来也正常。