TokenLat

超越成本节约，衡量 LLM 路由的有效性

将大部分 LLM 流量路由到更便宜的开源模型可以降低成本，但关键在于衡量其实际有效性，而不仅仅是简单的成功率。团队应将输出分布与基线模型进行比较，而不仅仅是检查任务完成情况，因为更便宜的模型可能会产生表面上看似成功但实际上质量较低的结果。计算每次成功任务的成本（包括重试和升级）比计算每 token 的节省更有价值，特别是对于预算紧张或需要遵守数据主权法规的组织而言。