最近的一次讨论强调了大型语言模型（LLM）路由仪表板报告成功率方式的一个关键缺陷。这些仪表板通常在模型提供答案的时刻衡量成功，未能考虑到几天后通过客户行为、下游修正或系统拒绝才揭示的结果。这导致了一个“乐观”的、有偏差的成功率，因为失败尚未被计入。作者建议并行运行两个成功率指标：一个是在答案时用于警报的临时费率，以及在“归因窗口”关闭后的最终费率，后者应作为路由决策的唯一依据。这两个费率之间的差距为路由系统的可靠性提供了有价值的信号。 AI
影响 强调了LLM部署中的一个关键运营挑战，提出了改进指标以实现更可靠的路由和成本管理。
排序理由 该项目讨论了LLM路由仪表板的一个细微的运营问题，提供了分析和拟议的解决方案，而不是宣布新产品或研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
