3.8 Flash

分析显示，LLM成本节约级联策略可能适得其反

一种通过先将请求发送到更小、更便宜的模型，然后再升级到更大模型的策略，有时会适得其反，增加开支。这种“级联”方法的有效性在很大程度上取决于所使用的具体模型及其定价结构。通过率（小模型处理的请求百分比）和模型之间的价格比率等因素至关重要。例如，一对模型可能节省65%的成本，而另一对模型即使通过率相同，也可能增加5%的成本。为了准确评估潜在的节省，必须衡量实际的 token 使用量和真实调用产生的成本，而不能仅仅依赖标价。