Maxim Bifrost

LLM 网关缺乏输出验证，提出新的“已验证故障转移”

当前的 LLM 网关，如 LiteLLM、Portkey 和 TensorZero，在将请求路由到各种 AI 提供商、管理重试和跟踪成本方面表现出色。然而，它们缺乏验证 LLM 输出的语义正确性或事实准确性的关键能力。这种疏忽可能导致用户收到不正确或虚假信息而系统未报错的“静默故障”，这比系统错误更危险。一种名为“已验证故障转移”的新方法旨在通过在 LLM 响应到达用户之前，从模式合规性、语义等价性和事实一致性等多个维度进行验证，并在…