CorrectoverEngine

通过合同验证检测静默 LLM 模型切换

文章讨论了“静默模型切换”的问题，即 LLM 提供商可能在未通知用户的情况下更换底层模型，导致响应特征发生意外变化。仅检查 HTTP 状态码和延迟的标准监控工具无法检测到这种漂移。提出的解决方案是使用“合同验证”方法，例如 CorrectoverEngine，该方法包括一个“身份”维度来验证返回的模型是否与请求的模型匹配，并使用行为指纹来标记不一致之处。这种多维度验证还可以检测其他问题，如提供商中断、系统角色不兼容和语义漂移。