gatewayproof

新工具gatewayproof发现隐藏的LLM网关错误

一个名为gatewayproof的新开源工具已被开发出来，用于识别和测试LLM网关中的五种关键错误。这些错误可能伪装成成功的操作，包括丢弃或重新排序的流块、不准确的令牌使用计数、不正确的成本计算、跨流数据泄露以及吞没的上游错误。该工具通过用提供响应、令牌使用和错误条件的真实情况的确定性模拟替换实际的LLM来工作，从而使开发人员能够精确地测试其网关的行为。