X-Tenant-ID

开发者构建LLM成本入口，实现产品级跟踪

作者开发了一个网关服务，用于管理和跟踪跨多个产品的LLM成本。该网关充当中介，将请求路由到OpenRouter等提供商，并记录租户ID、使用的模型、消耗的令牌和成本等详细信息。它还包括语义缓存功能，以减少冗余查询，并实施按产品配额以控制支出。作者发现了一个差异，即项目的README错误地声称具有自动故障转移功能，随后进行了更正，以反映实际实现的功能。