cost per correct answer

LLM成本指标有缺陷；质量底线和路由是节省成本的关键

一种管理大型语言模型（LLM）成本的新方法表明，常见的“每正确答案成本”指标存在缺陷，因为它固有地偏向于更便宜、不太准确的模型。相反，作者提出首先固定一个质量底线，然后找到满足该标准的成本效益最高的方法。提出根据难度或置信度将请求路由到不同模型，以此来实现显著的成本节省，但必须考虑路由器的成本。一个“神谕路由器”作为路由技能的基准，表明一旦建立了质量阈值，就有可能实现显著的节省。